Het is een merkwaardige paradox: iedereen wéét het, en toch blijft het telkens terugkomen alsof niemand het weet.
Het hardnekkigste verwijt aan ChatGPT en andere taalmodellen is dat ze niet altijd de waarheid spreken.
De gevorderde AI gebruiker krijgt nu denk ik een frons in het voorhoofd, maar lees even mee.
Het hardnekkigste verwijt is dus dat taalmodellen niet altijd de waarheid spreken.
En dat klopt. Deze modellen doen voorspellingen op basis van waarschijnlijkheid. Hun antwoorden gaan vaak verdraaid de goede richting uit, maar zijn niet feilloos zoals de uitkomst van een rekenmachine.
Ik schreef bijna drie (!) jaar geleden al een opiniestuk over ChatGPT in Trouw: “Een manke poot van deze technologie is dat de software artikelen en antwoorden maakt vanuit een stevige overtuiging, maar daarbij niet altijd de waarheid spreekt. De software is getraind met de enorme bakken data van ons internet, en daar staan ook veel onwaarheden. Hoewel de software zich presenteert als alleswetende machine, zitten er fouten in waarvan de gebruiker zich niet altijd bewust is.”
We zijn inmiddels drie jaar verder (!) en in de kern is het probleem hetzelfde. Toch blijft ditzelfde punt van kritiek steeds opnieuw opduiken, bij bedrijven, bij opdrachtgevers, op verjaardagsfeesten, in artikelen, blogs en columns.
In het Nieuws
Nog deze week: een artikel met als boodschap dat AI geen kieskompas of stemwijzer is.
Maar het meest sprekende voorbeeld kwam van de BBC. Zij deden onderzoek naar de nauwkeurigheid van taalmodellen bij het weergeven van feiten, citaten en gebeurtenissen in nieuwsberichten. De centrale vraag: hoe betrouwbaar zijn taalmodellen als het gaat om feitelijke informatie?
En wat blijkt… tromgeroffel… een taalmodel is niet altijd accuraat! (*slaat handen van schrik voor het gezicht*)
Vanzelfsprekend doken talloze media er meteen bovenop. De uitkomst werd gepresenteerd alsof het om een verrassende ontdekking ging. En zo werd het negatieve frame rond LLM’s weer een stukje verder aangescherpt. Terwijl je evengoed kunt zeggen: de BBC heeft veel tijd en geld geïnvesteerd om te bevestigen wat iedereen allang wist… Taalmodellen spreken niet altijd de waarheid.
Natuurlijk maakt het systeem fouten. Maar om dat te brengen als een onthulling, is goedkoop effectbejag. Het is alsof je iemand opzettelijk laat struikelen en vervolgens zegt: “Kijk nou, hij viel!”
Het onderzoek testte taalmodellen namelijk op aspecten waarvan men wéét dat LLM’s daar niet goed in zijn, zoals citaten en actuele informatie.
Waarheidsmachine
Wat ik helemaal ergerlijk vind, is dat sommige branches lijken te wachten op een waarheidsmachine en vervolgens niks doen. Gewoon met de armen over elkaar.
Dan zie je toch echt iets over het hoofd.
Wat zie je dan over het hoofd?
Dat taalmodellen oneindige ideeënmachines zijn.
Ze bieden nieuwe invalshoeken, onverwachte verbanden, rijke antwoorden, frisse concepten, originele scenario’s en toekomstvisies. Ze wijzen naar een richting die akelig in de buurt zit van waar je moet zijn in bewoordingen die je gedachten vormen en je ideeën aanscherpen.
Ze helpen je om anders te denken, je verbeelding te prikkelen, zaken anders te verwoorden, je gedachten te ordenen en mogelijkheden te zien die je anders misschien zou missen.
Wat een fantastische uitvinding!
Waarom kunnen sommige mensen dat niet zíen? Waarom blijven sommigen hangen in die ene, achterhaalde maatstaf — “feitelijke juistheid” — terwijl dat helemaal niet is waar de kracht van deze technologie ligt?
Je beoordeelt een goudvis toch ook niet op hoe goed hij in een boom kan klimmen?
Toch blijven we taalmodellen op die manier benaderen.
Laat me een andere metafoor gebruiken. Stel je voor: we hebben plots, bijna uit het niets, Google Maps uitgevonden. En wat is de reactie? Mensen die klagen: “Ja, maar als ik bij de brug links ga, ben ik sneller thuis dan wat de navigatie zegt.”
Misschien hebben ze gelijk.
..Maar dat verandert niets aan het feit dat we software hebben die je van Bordeaux naar Musselkanaal kan brengen — razendsnel, frictieloos, bijna foutloos, nagenoeg gratis, en altijd aangepast aan de actuele verkeerssituatie. (uitroepteken)
Re:Frame
Waarom leggen we de lat voor taalmodellen zó veel hoger dan voor andere informatiebronnen?
Als je iets opzoekt via Google, is dat óók niet per definitie betrouwbaar. De eerste vier blauwe linkjes zitten vaak vol commerciële en SEO-geoptimaliseerde content, van twijfelachtige kwaliteit.
YouTube? Wikipedia? Ook niet foutloos
En stel je een collega een vraag? Dan slik je diens antwoord toch ook niet blind voor zoete koek?
Waarom verwachten we dan van ChatGPT en collega LLM’s dat het áltijd de waarheid vertelt?
Beoordeel deze technologie op wat ze ís: een ideeënmachine.
Het probleem zit niet in de technologie. Het probleem is gemakzucht. Luiheid. En dat is van alle tijden.
Laten we dát aanpakken. Op de werkvloer. In het onderwijs. Aan de keukentafel.
Val niet de technologie aan, maar help de luie, gemakzuchtige mens.
Wie taalmodellen goed gebruikt, kan namelijk slimmer denken, sneller werken en betere resultaten leveren.
Taalmodellen zijn wat ze zijn: krachtige hulpmiddelen om creatief te denken, te ontdekken, te leren, te sparren, te formuleren en te herformuleren, connected dots te bekijken, gouden formuleringen te lezen en tot briljante vondsten te komen.
Laten we onze energie richten op het maximale eruit halen. Door mensen erop te blijven wijzen dat ChatGPT niet altijd de waarheid spreekt, en dat het waardevol en belangrijk is om zelf na te blijven denken.
En dat we taalmodellen moeten gaan zien voor wat ze werkelijk zijn: oneindige ideeënmachines.
