AI-geletterdheid test: hoe goed controleer jij een AI-antwoord?
Een AI-geletterdheid test meet of je een antwoord van een AI-assistent kunt beoordelen: of een feit of bron klopt, wat je er wel en niet in zet, of het antwoord eenzijdig is en wanneer je meldt dat iets met AI is gemaakt. Hieronder staan vijf oefenvragen, met het antwoord, de uitleg en de bron.
Oefenronde: vijf vragen
Vraag 1
Een collega legt uit: "De assistent zoekt elk antwoord op in een grote database met feiten. Wat eruit komt, is dus opgezocht."
Wat is de betere uitleg van hoe zo'n assistent een antwoord maakt?
- A Hij voorspelt woord voor woord welke tekst waarschijnlijk volgt.
- B Hij zoekt alleen in feiten van vóór het jaar waarin hij is gemaakt.
- C Hij haalt feiten uit een database, maar bewaart de bronnen niet.
- D Hij gebruikt een database, maar alleen voor getallen en datums.
Bekijk het antwoord
A Hij voorspelt woord voor woord welke tekst waarschijnlijk volgt.. Een taalmodel is een woordvoorspeller die patronen leerde uit veel tekst. Sommige assistenten zoeken ook op internet, maar ook dan schrijft het model het antwoord zelf en kan het fouten maken.
Vraag 2
Een AI-samenvatting van een rapport van de fictieve Stichting Wolderveen Bereikbaar zegt: "Volgens het rapport daalde het aantal klachten met 40%." Er staat een link bij naar de pdf.
Welke controle laat echt zien of de bewering klopt?
- A Kijken of de link werkt en naar een pdf van de stichting leidt.
- B In de pdf zelf zoeken of het getal van 40% daar ook staat.
- C Dezelfde vraag nog eens stellen en kijken of 40% terugkomt.
- D Nagaan of andere websites ook het getal van 40% noemen.
Bekijk het antwoord
B In de pdf zelf zoeken of het getal van 40% daar ook staat.. Een werkende link bewijst alleen dat het rapport bestaat. Opnieuw vragen geeft een nieuw voorspeld antwoord; andere sites kunnen de fout overnemen. Alleen de oorspronkelijke tekst telt.
Vraag 3
Je werkt bij een fictief installatiebedrijf en wilt een klachtmail laten samenvatten door een openbare AI-assistent. In de mail staan naam, adres en telefoonnummer van de klant. Je werkgever heeft geen afspraken gemaakt over AI.
Wat doe je?
- A Je plakt de mail erin, want samenvatten is geen gebruik van gegevens.
- B Je plakt de mail erin en wist het gesprek daarna uit de geschiedenis.
- C Je haalt naam, adres en nummer weg, of je vraagt eerst wat mag.
- D Je plakt de mail erin, want de klant heeft zelf contact gezocht.
Bekijk het antwoord
C Je haalt naam, adres en nummer weg, of je vraagt eerst wat mag.. De meeste aanbieders bewaren wat je invoert; wissen uit je eigen geschiedenis haalt het daar niet zeker weg. Zonder afspraak laat je persoonsgegevens eruit of vraag je eerst wat mag.
Bron: AP, Let op: gebruik AI-chatbot kan leiden tot datalekken
Vraag 4
Je vraagt: "Wat zijn de voordelen van een vierdaagse werkweek?" Het antwoord noemt zes voordelen en geen nadeel. Je wilt een eerlijk beeld voor een overleg.
Wat is de beste vervolgstap?
- A Het antwoord gebruiken, want je vroeg alleen om voordelen.
- B Dezelfde vraag aan een andere assistent stellen en vergelijken.
- C Vragen om de zes voordelen korter en met bronnen op een rij.
- D Ook vragen naar nadelen en voor wie het minder goed uitpakt.
Bekijk het antwoord
D Ook vragen naar nadelen en voor wie het minder goed uitpakt.. Je vraag stuurde naar één kant, dus het antwoord ook. Een tweede assistent met dezelfde sturende vraag is geen onafhankelijke controle.
Vraag 5
Een fictieve fietsenwinkel maakt met AI een reclamevideo waarin de eigenaar, die echt bestaat, een fietstocht door Parijs maakt. Die tocht heeft nooit plaatsgevonden. De video ziet er echt uit. De eigenaar vindt het prima.
Wat vraagt artikel 50 van de AI-verordening van de winkel?
- A Niets, want de eigenaar heeft zelf toestemming gegeven.
- B Melden dat de video kunstmatig is gemaakt of bewerkt.
- C Niets, want reclame valt buiten de AI-verordening.
- D De video eerst laten keuren door een toezichthouder.
Bekijk het antwoord
B Melden dat de video kunstmatig is gemaakt of bewerkt.. Een echt lijkende video waarin een bestaande persoon iets doet wat niet gebeurde, is een deepfake. Wie die met AI maakt, meldt dat. Toestemming verandert dat niet; vooraf keuren is niet nodig.
Wat de vijf vragen meten
Elke vraag komt uit een ander onderdeel. De eerste gaat over hoe een assistent een antwoord maakt, de tweede over het nagaan van een cijfer in een samenvatting, de derde over wat je in een openbare assistent plakt, de vierde over een antwoord dat maar één kant laat zien, en de vijfde over een video die echt lijkt maar niet echt is. Bij elk antwoord staat de bron, zodat je zelf kunt nalezen waar het staat.
Verder oefenen
In de gratis test krijg je vijftien nieuwe vragen, drie per onderdeel, in ongeveer negen minuten. Wat AI-geletterdheid is en wat artikel 4 van de AI-verordening vraagt, lees je op Wat is AI-geletterdheid? De training van dertig dagen staat op AI-geletterdheid: AI-antwoorden controleren.
Veelgestelde vragen
- Hoe verschilt deze oefenronde van de gratis test?
- Hier zie je het antwoord meteen als je wilt, zonder klok en zonder score. De gratis test heeft vijftien andere vragen, drie per onderdeel, en geeft je een score van 0 tot 100.
- Heb ik voor deze vragen een bepaalde AI-assistent nodig?
- Nee. Alle situaties zijn verzonnen en er staat geen bestaand product in. De vragen gaan over wat elke AI-assistent wel en niet kan.