De praktische en ethische grenzen van technologische vooruitgang

Lees hieronder de geschreven samenvatting van de podcast ‘Listening To The Future’ met Siri Beerends en Jarno Duursma

Zijn alle problemen op te lossen met technologie? Zijn kunstmatig intelligente systemen slim of dom? Kunnen we vriendschap sluiten met kunstmatig intelligente software? Kan dit soort software onze emoties detecteren? Is de corona app wel zo’n goed idee? Wat zijn de mogelijke onzichtbare nadelen? Algoritmes maken steeds meer beslissingen: waarom is het zo belangrijk om daar kritisch over te zijn? Wat zijn de onzichtbare en wellicht negatieve gevolgen van het feit dat we nu massaal online gaan? Wat zijn de ethische vraagstukken rondom corona en technologie? Welke vragen moeten nu gesteld worden?

Siri Beerends
Siri Beerends is cultuursocioloog. Met gevoel voor maatschappelijke urgentie draagt ze regelmatig bij aan het ethische debat over kunstmatige intelligentie, robotica, big data en algoritmen. Ze is werkzaam bij SETUP: een medialab waar ze de ethische implicaties van digitale technologie invoelbaar maken door middel van artistiek ontwerpend onderzoek. Daarnaast is ze promovendus aan de Universiteit Twente waar ze onderzoek doet naar authenticiteit en de manier waarop kunstmatige intelligentie de verschillen tussen mensen en machines verkleint.

Interview / samenvatting

Wat is een groot bezwaar richting de digitale wereld, vanuit jouw blikveld bekeken?
Techno-optimisme viert onterecht hoogtij. We denken wat mij betreft te vaak dat technologie de oplossing is voor alles. Onze manier van kijken naar problemen is te veel gekoppeld aan technologie en daardoor staan we soms weinig open voor andere oplossingen. Er zijn grote verbeteringen in kunstmatig intelligente software, maar het is echt niet zo dat je met dat soort software en bakken vol met data alles in de wereld kunt voorspellen, berekenen en sturen. Kunstmatige intelligentie wordt vaak overschat. En niet onbelangrijk… de menselijke intelligentie vaak onderschat. Kunstmatig intelligente software heeft een hoge maakbaarheidsbelofte. Maar als al die beloftes waar waren, dan hadden we de huidige problemen toch allemaal niet?

Wat stoort jou aan de beloftes die technologiebedrijven doen?

Ten eerste stort het mij dat deze beloftes gedaan worden en dat mensen teleurgesteld worden. Technologiebedrijven hebben neiging om sterk te werken aan hun marketing en zo dingen te beloven waar de technologie nog niet toe in staat is. Ten tweede zie ik het risico dat technologie, door deze grote beloftes, wordt ingezet op een plaats waar het gewoon nog niet goed werkt. Waar kunstmatig intelligente software bijvoorbeeld foute beslissingen kan nemen. Denk aan verzekeraars, banken of gemeentes. Ik ben bang dat heel veel mensen dus niet kunnen inschatten of de kwaliteit van deze technologie goed genoeg is en dat ze maar akkoord geven op basis van wat technologiebedrijven beloven. En dat schadelijke software daardoor wordt gebruikt op een plaats die kan leiden tot schade.

Ik maak me sowieso zorgen dat steeds meer beslissingen worden genomen door algoritme. En het probleem daarbij is dat veel van onze vooroordelen zich ook bevinden in dit soort systemen. Minderheidsgroepen worden daarbij stelselmatig vaker benadeeld.

De afgelopen twee jaar is de kritiek op technologiebedrijven toegenomen. Maar nu in het tijdperk van corona zie je juist weer veel positiviteit rondom digitale technologie. Herken je dat?
Gedeeltelijk. Technologie helpt ons nu enorm. Maar ik denk dat heel veel mensen op dit moment vooral praktisch ingesteld zijn. Ze denken: ik moet nou eenmaal thuis werken, dus ik heb deze software nou eenmaal nodig. Dat deze software heel veel data over mij verzamelt: dat moet maar even.

Jij bent ook een van de wetenschappers die de brief heeft ondertekend richting kabinet waarin er kritiek wordt geuit op de corona app. Kun je daar meer over vertellen?
Het meeste gedoe is er over de app die onderling contact moet bijhouden. Die moet registreren of je in contact bent geweest met iemand die gediagnosticeerd is met corona. Het gesprek over de corona app wordt nu gedomineerd door de onderwerpen privacy en security, wat op zichzelf goed is. Maar wat volgens mij nog wordt gemist is het vraagstuk van effectiviteit. Is deze app het juiste instrument voor de bijbehorende doelstellingen?
Er zijn heel veel factoren die je niet kunt meten, maar die toch belangrijk zijn in het proces van corona besmetting en persoonlijke nabijheid. Ook zet ik mijn vraagtekens bij de effectiviteit van Bluetooth technologie. Deze kan bijvoorbeeld niet zien of er tussen jou en een contactpersoon een plastic scherm of een houten schutting is. De technologie is dus relatief onnauwkeurig. Het kan zorgen voor vals positieven en vals negatieven.
Het risico is bijvoorbeeld dat mensen heel erg gaan leunen op wat de app vertelt. Dat ze wellicht laks worden in hun gedrag omdat ze vertrouwen dat de app hen wel waarschuwt. Dat zou het probleem eerder groter dan kleiner maken.

Luister op Spotify Luister op Apple Podcast.

En er is ook nergens wetenschappelijk bewijs dat een corona app echt werkt. En er zijn volgens mij zat dingen die je nog kunt doen om het virus in te dammen. Mijn advies aan de overheid is dus ook om niet zo zwaar in te zetten op deze specifieke app.

En vergeet niet: technologie wat in eerste instantie vaak tijdelijk wordt ingezet, kan een blijvend karakter hebben. En waar gaan we het dan volgend jaar voor gebruiken? Misschien voor een volgende versie van de griep? En komen jouw gegevens uiteindelijk terecht bij een verzekeraar bijvoorbeeld? Heb je als gebruiker nog wel controle over waar jouw gezondheidsdata voor gebruikt wordt?

En je wilt ook voorkomen dat zo’n corona en maatschappelijke ongelijkheid creëert. Dat bijvoorbeeld mensen die geen smartphone hebben of geen Bluetooth op hun telefoon automatisch uitgesloten worden van de positieve effecten van de versoepeling van de regels. En het kan wel zo zijn da het gebruik van de app niet verplicht gesteld gaat worden door de overheid, maar dat werkgevers wel mededelen dat je pas op je werk mag komen op het moment dat je de app op je telefoon hebt. Dat is er toch een afhankelijkheidsrelatie en dat zoiets gaat ten koste van je eigen autonomie.

Een paar weken geleden schreef Harari een artikel in de Financial Times. Dat ging over biometrische surveillance, privacy en empowerment van de burger. Jij had wat kritiek op dit artikel.

Dat klopt. In de basis vind ik het een goed artikel, maar Harari vergeet iets. Hij zegt “wanneer mensen de keuze krijgen tussen privacy en gezondheid, zullen ze meestal kiezen voor gezondheid. Maar we kunnen ervoor kiezen om onze gezondheid te beschermen, niet door totalitaire surveillanceregimes in te stellen, maar door de burgers te informeren op een eerlijke manier en onze tools privacy-vriendelijk te maken.”

In de basis is het okee wat hij zegt. En natuurlijk vind ik ook dat we niet moeten kiezen tussen tussen privacy en gezondheid. Het kan prima allebei. Maar Harari vergeet dat onze gezondheid helemaal niet zo maakbaar, beheersbaar is als ons wordt voorgehouden. Dat ziet hij over het hoofd. We zijn kwetsbaarder dan dat we denken.

En we moeten wat mij betreft ook af van het beeld dat we een pandemie kunnen voorspellen door maar zoveel mogelijk data te verzamelen in een systeem en vervolgens kunstmatig intelligente software gaan toepassen in de hoop op antwoorden. Er zijn onwijs veel factoren en op dat vlak is de wereld veel minder maakbaar dan dat we soms denken.

In voorspelbare, afgekaderde situaties is kunstmatig intelligente software heel erg goed. Maar juist wanneer het gaat om een pandemie, waarbij er enorm veel complexe factoren van invloed zijn op elkaar. Daar moeten we niet al te hoge verwachtingen hebben van kunstmatig intelligente software.

Noem nog eens een voorbeeld?
Ditzelfde zie ik bijvoorbeeld ook bij software wat claimt emoties te herkennen op basis van je gezicht of stem. Dit soort software wordt bijvoorbeeld bij sollicitaties gebruikt. Je ziet dan ook dat de software een enorme versimpeling maakt van onze emotionele huishouding. Maar dat is een fout. Ik bedoel: niet iedereen die blij kijkt is een blij persoon. Maar zo werkt de software wel. Je wordt gewoon in een hokje geplaatst. En onze emoties zijn veel complexer en veel genuanceerder dan dat we aan de buitenkant soms laten zien. En je hebt ook sociaal wenselijk gedrag. Wanneer mensen bepaalde dingen spelen aan de buitenkant. Dat soort dingen: daar kan de software natuurlijk niet echt rekening mee houden. Daar is het niet slim genoeg voor.

Luister op Spotify  Luister op Apple Podcast.

 

"In drie kwartier kregen de deelnemers aan ons ANVR reiscongres in Portugal een spervuur aan voorbeelden van toepassingen kunstmatige intelligentie voorgeschoteld. De presentatie van Jarno heeft ons op een hele aanschouwelijke manier duidelijk gemaakt dat de toekomst al is begonnen. Toppresentatie!"
Frank Oostdam
Directeur ANVR
Frank Oostdam
""