Vragen stellen aan een AI-assistent: wat werkt, wat je nakijkt en wat je niet deelt

Wie een AI-assistent een keer probeerde en er niets aan vond, stelde vaak een vraag die een mens ook niet goed had kunnen beantwoorden. Een verzoek om een bezwaarbrief tegen een parkeerboete levert een brief op die bij iedereen past en daarmee bij niemand. Het antwoord wordt pas bruikbaar als er in de vraag staat wat alleen jij weet: in welk vak je stond, dat de automaat geen bon gaf, dat je een foto van het lege display hebt.

Dit artikel is opgebouwd rond de oefensituaties uit de cursus Slim vragen aan AI. Die cursus heeft vijf onderdelen met elk 24 situaties, en ze gaan over gewone dingen: twee offertes voor een cv-ketel, een brief van het pensioenfonds, een toespraak voor het jubileum van de zwemvereniging, een loonstrook met twee regels die je niet begrijpt. Er staat nergens de naam van een programma, een knop of een menu in. Wat een vraag goed maakt, hangt af van de vraag zelf, en die blijft hetzelfde als de software anders gaat heten.

Vier dingen die een vraag bruikbaar maken

In het onderdeel De betere vraag kies je steeds uit vier manieren om hetzelfde te vragen. Dezelfde vier eigenschappen komen daarbij terug.

Zeg wat je wilt bereiken. Bij een kapotte lamp die de webshop niet vervangt, is dat je geld terug, en dat hoort in de vraag te staan. Een mail aan de webshop is het middel, geen doel.

Geef de context die alleen jij hebt. Bij het recept voor zes eters is dat wat er in huis is: kipfilet, prei, rijst, room en twee blikken tomaat. Bij een weekend weg met iemand die slecht ter been is, is het hoeveel minuten ze achter elkaar kan lopen.

Zeg in welke vorm je het antwoord wilt. Zakelijk, hooguit een half A4, vijf zinnen, per idee twee regels: dat soort maten maakt het verschil tussen een antwoord dat je kunt versturen en een antwoord dat je eerst moet inkorten.

Vraag om één ding tegelijk. Wie in één bericht een brief, een samenvatting en een advies vraagt, krijgt drie halve antwoorden terug.

Op de hogere niveaus komt er een vijfde bij. Vraag om iets wat je zelf kunt nakijken, in plaats van om een oordeel dat je moet geloven. Bij een huurcontract voor een garagebox vraag je welke punten ongunstig voor je kunnen uitpakken, met bij elk punt het artikelnummer, zodat je weet wat je moet nalezen. Heb je elf mails met je aannemer, dan vraag je de afspraken over prijs en oplevering op een rij te zetten, met bij elke afspraak de datum van de mail waarin die staat. Wie een raming voor een nieuwe badkamer wil, vraagt om de aannames waarmee gerekend is. Een antwoord met een vindplaats kun je controleren, en een eindoordeel kun je alleen geloven of niet geloven.

Vragen die minder opleveren

De zwakke vragen in de oefenset zijn geen domme vragen. Het zijn vragen die mensen werkelijk stellen, en ze missen elk iets anders:

• Een eindoordeel vragen waar je zelf iets moet kunnen nagaan, zoals of een contract gunstig is.
• Iets vragen wat de ander niet kan weten, zoals wat er in een brief staat die je niet hebt meegestuurd, of wat iets vandaag in de winkel kost.
• Het antwoord al in de vraag stoppen, door te vragen of jouw eigen lezing van een brief klopt.
• Het verkeerde soort antwoord vragen, zoals een samenvatting waar je een vindplaats nodig hebt.
• Zoveel tegelijk vragen dat elk stuk half blijft.

Om een indruk vragen kan wel werken, en de oefenset laat zien wanneer. Bij je eigen sollicitatiebrief, of bij een brief waarin je als penningmeester een hogere contributie aankondigt, wil je weten hoe de tekst op een eerste lezer overkomt. Dat is het enige aan je eigen tekst wat je zelf niet kunt zien. Je vraagt dan om de brief te lezen als gewoon lid en te zeggen waar je blijft haken. Zwakker is de vraag of je wordt uitgenodigd of hoeveel leden zullen opzeggen, want dat is een voorspelling die niemand kan doen.

Een langere vraag is niet vanzelf een betere

Het advies om context te geven leidt makkelijk tot de gedachte dat een lange vraag beter is. Wij hebben dat in de cursusbestanden nagelopen. In alle 120 opgaven hebben we de woorden geteld van het juiste antwoord en van de drie andere opties, en per opgave gekeken of het juiste antwoord de langste of de kortste van de vier is, gemeten in tekens.

In De betere vraag is de beste vraag gemiddeld 28,9 woorden lang en een zwakkere 29,3. Hij is 7 keer de langste van de vier en 6 keer de kortste. Die gelijke lengte is een keuze van de makers van de cursus, zodat je niet kunt winnen door te tellen, en dus geen meting van wat een AI-assistent doet. Ze laat wel iets zien wat voor je eigen vragen geldt. Een zwakke vraag draagt vaak net zoveel context mee en vraagt er het verkeerde bij. Waar het materiaal al is meegestuurd, wint een korte, precieze opdracht van drie brede. Waar je zelf de feiten moet aandragen, is de beste vraag juist de langste.

Wat moet erbij, en wat kan weg

In Wat moet erbij lees je een vraag en kies je welke toevoeging het antwoord echt verandert. De foute opties zijn allemaal waar. Dat je al vijftien jaar bij dezelfde verzekeraar zit, dat de fiets in de schuur staat, dat het feest bij je zwager thuis is: het klopt allemaal en het verandert niets aan het antwoord.

Wat wel iets verandert, valt meestal in een van vijf soorten. Voor wie het bedoeld is, hoeveel ruimte er is, welk land of welke regeling geldt, wat je al geprobeerd hebt en wat je met het antwoord gaat doen. Een vraag over zonnepanelen zonder je jaarverbruik, een vraag over verf voor de keukenkastjes zonder dat de deurtjes van kunststof zijn en een vraag over een afgewezen vergoeding zonder de reden uit de brief kantelen alle drie op dat ene gegeven. Bij de uitleg over een warmtepomp is het de toehoorder: je kleinzoon van tien vraagt om een ander verhaal dan je buurman.

In 3 van de 24 situaties hoeft er niets bij. De optie dat de vraag al geeft wat nodig is, staat in 9 opgaven en is in 3 daarvan het juiste antwoord, één keer per niveau. Een vraag naar een staande lamp die fel genoeg is om bij te lezen, hooguit honderdvijftig euro kost en een schakelaar bij de voet heeft, is compleet. Wie dan toch een gat blijft zoeken, maakt de vraag langer en het antwoord niet beter.

Wat je nakijkt in een antwoord

In Waar zit de fout lees je een antwoord van vier tot zes regels en wijs je aan wat erover klopt. Zes soorten mankementen komen terug. Je vindt ze alle zes zonder voorkennis, omdat het bewijs in de tekst zelf staat.

• Een bron die niet bestaat. Een antwoord beroept zich op artikel 9 van een Nederlandse Garantiewet 2016, en die wet bestaat onder die naam niet. Een naam met een artikelnummer erachter is pas een bron als je hem kunt terugvinden.
• Een som die niet klopt. Drie bezoeken per week van 48 kilometer is 144 kilometer, en vier weken daarvan is 576 kilometer en geen 556. Twee kortingen van 20 en 10 procent komen samen op 28 procent uit en niet op 30.
• Een stellige uitspraak over iets dat per geval verschilt, zoals één bandenspanning voor elke personenauto of één kortingspercentage voor elk pensioenfonds.
• Een antwoord dat over de vraag heen praat. Je vroeg of je je energiecontract nu al kunt opzeggen, en je krijgt uitleg over het kiezen van een contract.
• Een gegeven van jaren terug dat als het gegeven van nu wordt gebracht, zoals een tarief uit een oude begroting.
• Een tekst die zichzelf tegenspreekt, zoals een koelkast die onderin kouder is en twee zinnen later overal even koud.

Zes van de vierentwintig antwoorden in dit onderdeel mankeren niets, en dat is met reden. Een antwoord dat zegt dat een bedrag elk jaar opnieuw wordt vastgesteld, er daarom geen noemt en je naar de officiële bron verwijst, ziet eruit als een zwak antwoord en is het beste van de set. Een som die je natelt, mag ook gewoon kloppen. Natellen dat uitkomt op niets aan de hand is net zo bruikbaar als een gevonden fout.

Wat je niet in een vraag zet

Het onderdeel Wat zet je erin gaat over papier dat je in huis hebt: een brief over je huurtoeslag, een loonstrook, een uitslag van het ziekenhuis van je moeder, een concept-contract, een klantenlijst van je werk. Je oefent het onderscheid tussen wat de vraag nodig heeft en wat er alleen maar meelift.

Wie een brief van de gemeente wil laten uitleggen, heeft de twee alinea's over de herberekening nodig en niet de kop met naam, adres en burgerservicenummer. Wie twee regels op een loonstrook niet begrijpt, typt die twee regels over. Bij een uitslag met vier onbekende medische termen schrijf je de vier termen over en vraag je wat ze betekenen.

Het werkt twee kanten op. Te veel wegstrepen is ook een fout, want dan houd je een vraag over die niemand meer kan beantwoorden. Openbare retourvoorwaarden waar geen gegeven van jou in staat, kun je in zijn geheel plakken. Wie wil weten of een concurrentiebeding gebruikelijk is, heeft de functie en het salaris juist nodig, want zonder die twee valt er niets te wegen.

De reden achter elke keuze is steeds dezelfde. Je weet niet waar een tekst terechtkomt en je kunt hem niet terughalen. Een paar maatregelen voelen veilig en veranderen daar niets aan:

• een zin bovenaan dat de inhoud vertrouwelijk is,
• het gesprek achteraf verwijderen, wat je eigen scherm opruimt en niet wat je al hebt verstuurd,
• een zwarte balk over een nummer in een bestand, omdat je aan het bestand niet kunt zien of de tekst eronder meegaat,
• een foto van je beeldscherm, die alles meeneemt wat er in beeld staat, ook de regel met de klantnaam,
• een naam vervangen door een letter, terwijl de omschrijving nog steeds één persoon aanwijst, zoals de enige monteur met een baard in de fietsenwinkel bij het station.

Soms is het beste antwoord dat je het niet zelf doet. Komt de buurvrouw met een brief over haar schuldregeling die van begin tot eind over haar gaat, laat haar die dan zelf voorleggen en kijk mee.

Als het antwoord tegenvalt

Het onderdeel De vervolgvraag begint waar veel mensen afhaken, bij een eerste antwoord dat niet deugt. Drie dingen komen steeds terug. Benoem wat er mis is in plaats van je vraag opnieuw te stellen, want dezelfde vraag levert hetzelfde soort antwoord op. Vraag om één verandering tegelijk. En laat met een voorbeeldzin zien wat je wilt. Minder overdreven is een oordeel, en schrijf het in deze toon, zaterdag speelt de fanfare in het dorpshuis, is een opdracht.

Bij een afscheidskaart die te lang is, te plechtig klinkt, een verzonnen anekdote bevat en de naam verkeerd spelt, begint het beste vervolg met één ding: breng het terug naar zes zinnen. Bij een toespraak die past op iedereen die vijftig wordt, geef je wat alleen over hem gaat, bijvoorbeeld dat hij bijen houdt en schaatst.

Op het lastigste niveau zit de fout soms in je eigen vraag. Je vraagt of je fiets meeverzekerd is op je reisverzekering en krijgt terug dat dit per polis verschilt. Aandringen op een duidelijk ja of nee levert dan een stellig antwoord op dat nergens op gebaseerd is. Plak de regels over bagage uit je eigen polis erbij en vraag wat daar staat. En als je na tien berichten om formeler, korter, warmer en weer formeler niets beters hebt dan de eerste versie, begin dan opnieuw met één bericht met alle feiten erin en één opdracht.

Oefenen met gewone situaties

In de cursus Slim vragen aan AI oefen je deze vijf onderdelen, met 24 situaties per onderdeel. Bij elk antwoord lees je waarom het juiste antwoord het juiste is. De uitslag zegt hoe je die dag de opgaven speelde, en niets over hoe goed je met een bepaald programma overweg kunt, want die programma's veranderen sneller dan de oefeningen. De gratis test heeft vijf korte onderdelen van 3 opgaven.