Een AI-antwoord controleren in drie stappen
Een stellig AI-antwoord controleer je in drie stappen. Lees eerst of het antwoord jouw vraag beantwoordt en zichzelf niet tegenspreekt. Reken daarna elk getal zelf na. Zoek tot slot de genoemde bron buiten de chat op en lees of daar hetzelfde staat. De assistent vragen of het klopt, telt niet als controle.
Bijgewerkt op door De redactie van Skillido
Femke plakt in de groepsapp van de buurtvereniging een antwoord van een AI-assistent. "Jullie hebben 23 leden. Als iedereen € 12 betaalt, hebben jullie € 286. Dat is genoeg voor de zaalhuur van € 280." Het klinkt stellig en compleet, met drie bedragen en een conclusie. Niemand rekent het na, en op de avond zelf blijkt de pot € 4 te kort: 23 maal 12 is 276.
Een AI-assistent schrijft een fout antwoord in dezelfde toon als een goed antwoord. Hoe dat komt, staat in Waarom een AI-assistent soms bronnen verzint. Voor wie het antwoord gebruikt, telt vooral dat de toon niets zegt over de juistheid. Wat wel iets zegt, kun je in drie stappen nagaan, en voor een gewoon antwoord kost dat een paar minuten.
Stap 1: lees of het jouw vraag beantwoordt
Lees het antwoord met je eigen vraag ernaast. Een assistent beantwoordt soms een vraag die erop lijkt. Lies vraagt of ze de aanhanger van de hockeyclub mag lenen voor een verhuizing en krijgt een vriendelijk stuk over hoe je een aanhanger vastkoppelt en hoe zwaar je hem mag beladen. Of het mag, staat er niet, en wie snel leest, onthoudt alleen dat het antwoord behulpzaam klonk.
Lees ook of het antwoord zichzelf niet tegenspreekt. In een lang antwoord kan het budget bovenaan € 750 zijn, kunnen de kosten in het midden optellen tot € 810 en kan de conclusie onderaan zijn dat het past. Elke zin klinkt redelijk; samen kloppen ze niet. Zet de getallen en de conclusie onder elkaar, dan zie je het meteen.
Stap 2: reken elk getal zelf na
Een getal in een AI-antwoord is net zo goed voorspelde tekst als de zinnen eromheen. Meestal klopt het, soms niet, en aan het getal zelf zie je dat niet. Reken elke vermenigvuldiging, elk percentage en elke optelling na waar iets van afhangt, met je telefoon erbij. Bij de zaalhuur was dat één som van vijf seconden.
Let vooral op getallen die je zelf in je vraag zette. Krijg je te horen dat 48 gasten aan 8 tafels van zes passen, en vraag je daarna "moeten het er niet tien zijn", dan kan de assistent je gelijk geven terwijl 8 klopte. Dat ja komt uit je vraag en niet uit de som. De som zelf is het enige wat telt.
Stap 3: zoek de bron buiten de chat op
Noemt het antwoord een onderzoek, een rapport of een regel, zoek die dan zelf op. Een naam, een jaartal en een precies cijfer maken een bron geloofwaardig, en ze kunnen er even goed bij staan als de bron niet bestaat. Zoek de titel of de organisatie in een zoekmachine en op de site van de organisatie zelf. Vind je de bron, open hem dan en zoek het cijfer of de zin op. Staat het er niet, of over een andere groep of een ander jaar, gebruik het dan niet.
De snelste reactie op twijfel is de assistent vragen of het zeker is. Daar komt meestal opnieuw een stellig ja uit, en soms een nieuwe bron die je dan ook weer moet nagaan. Twee forums die hetzelfde cijfer noemen, helpen evenmin: ze kunnen het van elkaar hebben, of van dezelfde assistent. Een controle gebeurt bij de oorspronkelijke tekst.
| Fout | Voorbeeld | Welke stap |
|---|---|---|
| Een rekenfout in een zeker antwoord | 23 leden die elk € 12 betalen, geeft volgens het antwoord € 286. Het is € 276. | Stap 2, narekenen |
| Een bron met naam en jaartal die niet te vinden is | Een onderzoek van een hogeschool uit 2019, met een cijfer tot achter de komma. | Stap 3, de bron opzoeken |
| Net een andere vraag beantwoord | Je vraagt of je de aanhanger van de club mag lenen en krijgt uitleg over hoe je hem vastkoppelt. | Stap 1, lezen wat er staat |
| Ja, dat klopt, nadat je doorvroeg | Je vraagt of 8 tafels van zes niet te weinig zijn voor 48 gasten, en de assistent geeft je gelijk terwijl 8 klopte. | Stap 2 of 3, buiten de chat |
| Tegenspraak binnen één antwoord | Het budget is € 750, de kosten tellen op tot € 810, en de conclusie is dat het past. | Stap 1, lezen wat er staat |
De tabel is door de redactie samengesteld uit de vijf soorten fouten in het onderdeel over AI-antwoorden van de training. De voorbeelden zijn verzonnen. Hij is geen meting van hoe vaak een assistent zo'n fout maakt.
Hoeveel controle een antwoord nodig heeft
Niet elk antwoord vraagt alle drie de stappen. Gebruik je een assistent om ideeën voor een buurtfeest te bedenken, dan is lezen genoeg: een slecht idee laat je gewoon liggen. Komt een getal in de nieuwsbrief, beslist de club over een bedrag of zet je een bron in een stuk dat anderen lezen, dan reken je na en zoek je op. Hoe meer er van het antwoord afhangt en hoe meer mensen het overnemen, hoe meer de controle telt.
Wie een antwoord doorstuurt in een groepsapp, geeft het ook een beetje zijn eigen naam mee. Een regel erbij als "nagerekend" of "bron nog niet gevonden" vertelt de anderen hoeveel ze erop kunnen bouwen.
Oefenen met stellige antwoorden
Skillido heeft een gratis test kritisch denken met onder meer korte groepsgesprekken waarin iemand een AI-antwoord plakt en jij aanwijst wat er niet klopt. In de training Kritisch denken zijn dat 24 situaties met de vijf soorten fouten uit de tabel, met na elk antwoord de uitleg. Alle situaties zijn verzonnen en er staat geen bestaand AI-product in. De uitslag zegt hoe je die dag de antwoorden las.
Over dit artikel
De stappen en de indeling van de fouten zijn door de redactie in eigen woorden opgeschreven. Alle gesprekken, namen en bedragen zijn verzonnen. Voor hoe een AI-assistent tot een antwoord komt, verwijst dit artikel naar Waarom een AI-assistent soms bronnen verzint, waar de bronnen bij staan. Klopt er iets niet, mail dan naar hallo@skillido.com.