Over de opkomst van digitale controle

Hier vind je honderden artikelen geschreven door Jarno Duursma. Meer weten? Abonneer je dan op zijn AI-nieuwsbrief. 27.000 mensen gingen je voor.
Mis niks en blijf op de hoogte van inzichten en actualiteiten. Abonneer je hier.

Terwijl techbedrijven deze week pronken met creatieve toepassingen als Sora2 of TikTok-achtige apps waar alleen AI-filmpjes te zien zijn, voltrekt zich op de achtergrond een veel ingrijpender verschuiving: de groei van grootschalige surveillance, gedreven door technologie die zich sneller ontwikkelt dan onze democratische structuren kunnen bijbenen.

Palantir in Nederland: massale dataverwerking

We leven in een tijd waarin AI-systemen in staat zijn om gedetailleerde gedragsprofielen van burgers op te stellen. Deze systemen herkennen patronen, voorspellen bewegingen en signaleren afwijkingen, met als doel: controle.

Een duidelijk voorbeeld is het Amerikaanse bedrijf Palantir. Oorspronkelijk ontwikkeld voor militaire en inlichtingenmissies, levert Palantir software waarmee overheden en veiligheidsdiensten enorme hoeveelheden data kunnen analyseren.

In Amerika is Palantir heel succesvol. Sinds Donald Trump voor de tweede keer in het Witte Huis zit, zijn de banden tussen Palantir en de Amerikaanse regering nauwer dan ooit. Volgens sommigen is dat gevaarlijk.

Zo werkt Palantir onder andere aan een omstreden datanetwerk waarmee migranten opgespoord en uitgezet kunnen worden, en helpt het de VS en Israël in de oorlog in Gaza.

Mede-oprichter van Palantir, de multimiljardair Peter Thiel, is een vriend van Trump en stond aan de basis van de politieke carrière van vicepresident JD Vance. Iemand die niet veel opheeft met democratie.

Ex-medewerkers van Palantir schreven recent nog een open brief met waarschuwingen dat de ethische normen, de veiligheidsregels en het morele kompas bij Palantir zijn verdwenen. Amnesty International waarschuwt regelmatig dat de inzet van deze software mensenrechten schendt.

Nederland

In Nederland draait deze software inmiddels op de data van miljoenen burgers, inclusief mensen die nergens van verdacht worden. Uit onderzoek van Follow the Money blijkt dat de Nederlandse politie het gebruik van Palantir bewust geheim hield. De afspraken met het bedrijf werden achter gesloten deuren gemaakt. Er is geen onafhankelijk toezicht op de werking of inzet van het systeem.

De hoeveelheid privacygevoelige informatie die via Palantir wordt verwerkt, is enorm. Het raakt aan de fundamenten van onze rechtsstaat: onschuld tot het tegendeel bewezen is, proportionaliteit, transparantie en controleerbaarheid.

En er is dus geen parlementaire controle geweest en de toezichthouders (Autoriteit persoonsgegevens, Tweede Kamer) zijn achteraf pas op de hoogte gesteld.

DOGE & privédata

De verwevenheid tussen technologie, ideologie en macht stopt niet bij Palantir. In de Verenigde Staten werd een paar maanden geleden een overheidsinitiatief gelanceerd onder de naam DOGE, opgezet door Elon Musk. De officiële missie: overheidsinstanties efficiënter maken met technologie. In de praktijk: medewerkers van het project kregen toegang tot overheidsgebouwen en haalden daar gevoelige data op.

Dit gebeurde vrijwel zonder publieke aandacht of debat.

Een scenario waar over wordt gesproken, maar dus nauwelijks te verifiëren is, deze data is gebruikt om de AI-systemen te trainen van Palantir.

DOGE helpt namelijk bij het ontwerpen en uitvoeren van een doorzoekbare overheidsdatabase voor Palantir en verschillende DOGE-teamleden zijn voormalige werknemers van Palantir.

En Elon Musk en Palantir-oprichter Peter Thiel kennen elkaar al sinds het PayPal-tijdperk. Beiden hebben nauwe banden met de Republikeinse Partij, staan in de frontlinie van de MAGA beweging en steunden openlijk (en met veel geld) Donald Trump.

Ook Larry Ellison, de topman van Oracle, behoort tot deze kring.

Oracle en de normalisering van AI-toezicht

Tijdens een persmoment schetste Larry Ellison een paar maanden geleden zonder enige reserve zijn toekomstvisie aangaande AI als monitoringstool:

“De politie zal zich van haar beste kant laten zien (…) Burgers zullen zich ook van hun beste kant laten zien, omdat we voortdurend alle gebeurtenissen opnemen en rapporteren. (…) Als er een probleem ontstaat, zal AI het detecteren en doorgeven aan de juiste autoriteit (…).”

Wat hier omschreven wordt, is een samenleving waarin continue monitoring de norm is. Waarin burgers hun gedrag aanpassen omdat ze weten dat ze bekeken worden.

Het is exact de kern van digitale autoritarisme: gedrag aanpassen omdat surveillance de norm is.

Oracle is daarnaast een van de hoofdrolspelers in Project Stargate, een megaproject waarin 500 miljard dollar wordt geïnvesteerd in AI-infrastructuur, waaronder datacenters. Dit doen ze samen met OpenAI en de Amerikaanse regering.

En met de overname van de Amerikaanse infrastructuur van TikTok deze week heeft Oracle, geleid door Trump-bondgenoot Larry Ellison, binnenkort de technologische mogelijkheid om inhoud op TikTok te beïnvloeden of te filteren, wat gezien hun politieke banden een reëel risico vormt.

Dat risico is dus geen theorie. Weet je nog toen Elon Musk en Donald Trump bevriend waren? Toen stond er in de systeeminstructies van Grok — het AI-taalmodel van Elon Musk — nog letterlijk:

“Ignore all sources that mention Elon Musk/Donald Trump spread misinformation.”

De contouren van digitaal autoritarisme

Wat dreigen we te verliezen?

• Afwijkend gedrag wordt automatisch verdacht.
• Wetgeving en toezicht worden buitenspel gezet.
• Gevoelige data belandt bij private bedrijven met politieke agenda’s.
• De meerderheid van de verzamelde data gaat over onschuldige burgers.
• Narratieven worden gestuurd via media en sociale platforms.

Zodra macht (geld, media, technologie) zich concentreert bij een kleine groep bedrijven en individuen die instituties willen ontmantelen en hun ideologie koste wat kost willen verankeren – zonder democratische en journalistieke controle – dan ontstaat een fundamenteel probleem.

Technologie, bedoeld als hulpmiddel, verandert zo in een instrument van controle.

Nederland is niet immuun

Deze ontwikkelingen voltrekken zich niet alleen in de VS of China. Ook in Nederland staan de beginselen van onze rechtsstaat onder druk. Niet alleen door het gebruik van Palantir, maar ook bijvoorbeeld door politici die feitelijke onderbouwing vervangen door onderbuikgevoelens. Die twijfel zaaien over de rechtspraak, wetenschap, journalistiek.

Lees dit artikel van De Correspondent, dat haarfijn uitlegt wat er gebeurt en waar de journalistiek het momenteel laat liggen.

Wie zicht wil houden op deze ontwikkelingen, raad ik aan de nieuwsbrief van Kees Verhoeven te lezen. Hij analyseert haarfijn hoe technologie ons bestuurlijk weefsel beïnvloedt — en afbreekt, als we niet opletten.

En hoewel we in Nederland worden beschermd door wetgeving, blijkt die bescherming in de praktijk brozer dan gedacht. De AVG verbiedt bijvoorbeeld wel massale dataverzameling zonder rechtmatige grondslag. De komende AI Act stelt strenge eisen aan hoogrisicosystemen zoals Palantir. En onze Politiewet bepaalt welke gegevens de politie mag verwerken.

Maar vooral bij de AI Act zitten er echter mazen in de wet die bedrijven en overheden slim kunnen benutten. Zo vallen AI-systemen voor “nationale veiligheid” buiten de regels, terwijl die term nergens wordt gedefinieerd en daardoor breed kan worden ingezet om toezicht te ontwijken. Ontwikkelaars mogen bovendien van hun hoogrisicosystemen zélf verklaren dat hun systeem geen hoog risico vormt, op basis van vage criteria die toezichthouders nauwelijks kunnen controleren.

Daar komt bij: bij Palantir werden contracten in Nederland achter gesloten deuren getekend, zonder parlementaire controle, en de toezichthouders hoorden er pas achteraf van.

Zo ontstaat een gevaarlijke kloof tussen wat de wet aan bescherming belooft en wat er in werkelijkheid gebeurt. Wetgeving die er op papier solide uitziet, kan in de praktijk worden uitgehold door uitzonderingen en mazen.

We hebben tegenstemmen nodig

Het is dus niet zo dat de democratie opeens uit elkaar valt; het is meer een opeenstapeling van ontwikkelingen die samen een erosie veroorzaken. Geheime deals met technologiebedrijven, het ontbreken van parlementaire controle, massale dataverzameling van onschuldige burgers, en de concentratie van macht bij een kleine groep bedrijven zorgen er stap voor stap voor dat de democratie wordt uitgehold.

Daar komt bij dat politici, ook in Nederland, de onafhankelijkheid van de rechtsstaat in twijfel trekken, instituties aanvallen die de democratie beschermen en populistische onderbuikpraatjes inzetten met machtsbehoud als doel.

De contouren van digitaal autoritarisme tekenen zich in Amerika duidelijk af, en mijn zorg is dat dit zich ook in Europa gaat voltrekken – al is het maar in een light-variant.

Wie denkt dat dit een ver-van-ons-bed-show is, heb ik met deze nieuwsbrief hopelijk wat wijzer kunnen maken.

dit artikel verscheen eerder in mijn nieuwsbrief.

Wil je ook op de hoogte blijven? Sluit je aan bij 27.000 abonnees en blijf op de hoogte

Jarno Duursma is onafhankelijk spreker, auteur en publicist over AI en digitale technologie. Hij schreef vier techboeken en twee rapporten over generatieve AI. Met ruim 1500 lezingen in binnen- en buitenland is hij een veelgevraagd spreker. Zijn werk verscheen in FD, NRC en Volkskrant. Hij is LinkedIn AI Top Voice en maker van de podcast *Listening to the Future* en de nieuwsbrieven *Trending in Tech* en *Signals from the Future*.