Waarom een AI-assistent soms bronnen verzint

Je vraagt een AI-assistent om onderzoek over thuiswerken voor een notitie aan je afdeling. Je krijgt drie rapporten terug, elk met een organisatie, een jaartal, een paginanummer en een cijfer. Twee ervan vind je terug. Het derde staat nergens: niet bij de organisatie die het zou hebben uitgegeven, niet in een catalogus, niet in een zoekmachine. Het had een titel die je zo zou geloven.

Zo'n bron komt voort uit hoe een taalmodel tekst maakt, en wie dat weet, ziet ook waarom de gewone manieren om hem te controleren tekortschieten. Hieronder staat eerst hoe het werkt, dan wat er in een antwoord echt zit en wat niet, en daarna een stappenplan om een genoemde bron na te gaan.

Een taalmodel voorspelt de volgende woorden

AI-tools die tekst schrijven, draaien volgens het Algoritmekader van het ministerie van Binnenlandse Zaken meestal op een groot taalmodel. Het Algoritmekader beschrijft de werking zo: 'Op basis van die patronen voorspelt het getrainde model het meest logische volgende element in bijvoorbeeld een zin.' De Autoriteit Persoonsgegevens zegt het korter: 'Een AI-chatbot is eigenlijk een soort woordvoorspeller.'

Een bronvermelding is ook gewoon tekst, en wel tekst met een vaste vorm. Een auteur, een jaartal tussen haakjes, een titel, een uitgever, een paginanummer. Zo'n model is volgens het Algoritmekader getraind op grote hoeveelheden data, en kan die vorm dus moeiteloos opschrijven. Of er een document bestaat dat bij die woorden hoort, maakt voor het voorspellen van het volgende woord niets uit. Zo ontstaat een titel die klinkt als een echt rapport, bij een organisatie die echt bestaat, met een paginanummer dat past bij de dikte van zo'n rapport.

Het Algoritmekader zegt over de antwoorden van chatbots: 'Deze antwoorden zijn niet altijd betrouwbaar.' Geeft een chatbot onjuiste informatie, dan heet dat volgens dezelfde pagina hallucineren. De Autoriteit Persoonsgegevens geeft in haar uitleg over AI een voorbeeld met een lijst boeken, met de zin 'In die lijst stonden boeken die helemaal niet bestaan.'

Sommige AI-tools zoeken eerst op internet en zetten links onder hun antwoord. Dat helpt, want je kunt die links openen. Het model schrijft alleen nog steeds zelf de tekst eromheen, en die tekst kan iets anders zeggen dan de pagina achter de link. De Autoriteit Persoonsgegevens vat het samen als 'Onthoud dus dat informatie op internet niet altijd klopt, en dat AI daarbovenop ook nog fouten kan maken.'

Een werkende link, een exact getal en een stellige toon bewijzen niets

Wie een bron uit een chat wil controleren, kijkt vaak naar wat er direct in beeld staat. Drie dingen geven dan een vals gevoel van zekerheid.

Een link die werkt. Een link kan uitkomen op de homepage van een organisatie die bestaat, op een ander rapport van dezelfde organisatie, of op een pagina die over iets anders gaat. Dat de pagina laadt, zegt alleen dat er op dat adres iets staat.

Een getal tot achter de komma. Een assistent die 37,4 procent schrijft, klinkt alsof hij het heeft nagemeten. Ook dat getal is voorspelde tekst, en aan het aantal cijfers achter de komma zie je niet of iemand het ooit heeft gemeten.

Een stellige toon. Een antwoord dat niet klopt, kan net zo zeker geformuleerd zijn als een antwoord dat wel klopt. Woorden als volgens en blijkt uit staan er even makkelijk bij een verzonnen bron als bij een echte.

Opnieuw vragen of het klopt is geen controle

De snelste reactie op twijfel is de assistent vragen of de bron echt bestaat. Het antwoord daarop komt op dezelfde manier tot stand als het eerste, als voorspelde tekst. Een ja komt dan niet uit het document, en een nee met een nieuwe bron geeft je alleen een tweede bron om na te gaan. In beide gevallen heeft niemand het document geopend.

Hetzelfde geldt voor een tweede AI-tool die dezelfde titel noemt, of voor drie websites die hetzelfde cijfer herhalen zonder te zeggen waar het vandaan komt. Dat is één bewering die vaker wordt opgeschreven. Een controle gebeurt buiten het gesprek, bij de oorspronkelijke tekst of bij de instantie die het gegeven bijhoudt.

Zo controleer je een bron die een AI-assistent noemt

De stappen hieronder werken voor een rapport, een boek, een artikel, een wet en een citaat. Ze kosten een paar minuten per bron, en je kunt stoppen zodra een stap mislukt.

1. Schrijf op wat er staat. Titel, auteur of organisatie, jaartal, paginanummer, artikelnummer en link. Dan weet je wat je zoekt, en zie je later of de gevonden bron op alle punten overeenkomt.
2. Zoek op of de bron bestaat, buiten de chat. Zoek de titel tussen aanhalingstekens in een zoekmachine, op de website van de organisatie die hem zou hebben uitgegeven of in een bibliotheekcatalogus. Bij een Nederlandse wet zoek je in de Wettenbank, die erbij zegt: 'U kunt hier zoeken op één of meer woorden die voorkomen in de titel of in de tekst.' Vind je niets, dan stop je hier.
3. Open de bron zelf. Kijk of de titel, de organisatie en het jaartal kloppen met wat de assistent noemde. Een rapport van dezelfde organisatie uit een ander jaar is een andere bron.
4. Zoek de passage. Gebruik de zoekfunctie van je browser of pdf-lezer en zoek op het getal of op een paar woorden uit het citaat. Kijk ook op de genoemde bladzijde.
5. Lees de zinnen eromheen. Een getal kan in de bron staan en over een andere groep, een ander jaar of een andere plek gaan. Een optie die een rapport onderzocht, kan in het antwoord een advies zijn geworden. Een citaat kan van iemand anders zijn. Pas als de oorspronkelijke tekst hetzelfde zegt als het antwoord, heb je een bron.

Lukt een van de stappen niet, gebruik de bewering dan niet, of vervang hem door een bron die je wel hebt gevonden en gelezen. Verwijs in je eigen stuk naar de oorspronkelijke tekst en niet naar het gesprek met de assistent.

Waarom dit ook op het werk telt

In de vragen en antwoorden over AI-geletterdheid van de Europese Commissie staat de vraag of een bedrijf waarvan medewerkers een AI-tool gebruiken om advertentieteksten te schrijven of teksten te vertalen, te maken heeft met de eis over AI-geletterdheid in artikel 4 van de AI-verordening. Het antwoord begint met: 'Yes, they should be informed about the specific risks, for example hallucination.'

Voor de overheid zelf noemt het Algoritmekader een regel die ook buiten de overheid houvast geeft: 'Besluiten worden niet puur en alleen op basis van de output van generatieve AI genomen.' Wie een bron uit een chat ongezien in een notitie of advies zet, laat een deel van dat besluit alsnog aan die output over.

Oefenen met verzonnen bronnen

Skillido heeft een gratis test AI-geletterdheid met korte vragen over situaties zoals hierboven. In de cursus AI-geletterdheid heeft het onderdeel Feiten en bronnen nagaan 24 situaties met een titel, een cijfer of een link, en bij elk antwoord staat de bron waar de uitleg op steunt. De uitslag zegt hoe je die dag de vragen speelde. Meer beloven wij niet.