Verband of oorzaak: drie vragen

De gemeente van het verzonnen kustdorp Zandmeer zet twee cijfers naast elkaar. Op dagen dat er bij het strand meer ijs wordt verkocht, worden er bij het strand ook meer fietsen gestolen. De lijnen gaan keurig samen op en neer. Iemand in de raad oppert dat mensen met een ijsje minder op hun fiets letten.

Dat kan, maar de cijfers zeggen het niet. Ze laten een verband zien: twee dingen die samen veranderen. Of het ene het andere veroorzaakt, is een tweede vraag, en daar zijn drie vragen voor nodig.

1. Is er een derde factor die beide verklaart?

Op warme dagen komen er veel meer mensen naar het strand. Die kopen ijs, en ze zetten hun fiets bij de boulevard. Meer fietsen bij het strand betekent meer fietsen die gestolen kunnen worden. Het weer duwt beide cijfers omhoog, ook als ijs en diefstal niets met elkaar te maken hebben.

Zo'n derde factor is vaak iets wat in het bericht niet genoemd wordt: het weer, het seizoen, de grootte van een plaats, de leeftijd van een huis, het aantal mensen. Zoek naar iets wat met allebei de cijfers te maken heeft. Vind je het, dan is de derde factor minstens zo goed een verklaring als de oorzaak die het bericht suggereert.

2. Kan het ook andersom zijn?

Een verzonnen onderzoek naar winkelcentra laat zien: hoe meer beveiligers er rondlopen, hoe meer winkeldiefstal er wordt gemeld. Wie alleen de cijfers leest, zou kunnen denken dat beveiligers diefstal uitlokken. Waarschijnlijker is het omgekeerde: een winkelcentrum waar veel gestolen wordt, neemt meer beveiligers aan. En meer beveiligers zien ook meer, waardoor er meer gemeld wordt.

Draai het verband daarom altijd een keer om, en kijk of het dan ook een logisch verhaal is. Is dat zo, dan kun je uit de cijfers alleen niet halen welke kant op het werkt.

3. Hoe groot was de groep, en wie is er geteld?

Een verzonnen verzekeraar zet woonplaatsen op volgorde van het percentage polissen met waterschade. Bovenaan staat een dorp met 40 polissen en 3 claims: 7,5%. Onderaan staat ook een dorp met 40 polissen, met 0 claims: 0%. De grote stad met 20.000 polissen en 1.000 claims staat met 5% ergens in het midden.

Het lijkt alsof er in het eerste dorp iets mis is en in het tweede alles goed gaat. Maar bij 40 polissen verschuift één claim het percentage al met 2,5 procentpunt. Een paar claims meer of minder, door toeval, zet een klein dorp bovenaan of onderaan. In de stad maakt één claim bijna niets uit.

Een verklaring die alleen voor de bovenkant van de lijst werkt, zoals oude huizen met lekkende leidingen, mist de helft van het patroon. Staan kleine groepen aan allebei de kanten, dan is het aantal de eerste verklaring om na te gaan.

Bij dezelfde vraag hoort ook wie er geteld is. Een webwinkel meldt dat 95% van de reviews positief is: 190 van de 200. Geteld zijn alleen klanten die zelf een review schreven, en dat doen vooral klanten die erg tevreden of erg ontevreden zijn. Over alle klanten zegt dat percentage weinig. Een groep die zichzelf heeft gekozen, is zelden een goede afspiegeling van het geheel.

De drie vragen als stappen

1. Zoek een derde factor die met allebei de cijfers te maken kan hebben.
2. Draai oorzaak en gevolg om en kijk of het verhaal dan ook klopt.
3. Kijk hoeveel gevallen er geteld zijn, en hoe ze gekozen zijn.

Lukt het niet om een van de drie uit te sluiten, dan heb je een verband en nog geen oorzaak. Schrijf de conclusie dan ook zo op: twee dingen gaan samen, en wat het ene met het andere doet, weet je nog niet.

Oefenen met verbanden

Skillido heeft een gratis test met korte opgaven over gemiddelden, percentages, grafieken, kansen en verbanden. In de training Cijfers en grafieken doorzien gaat één van de vijf onderdelen over verband of oorzaak en over de grootte van de groep, met situaties uit verkeer, onderwijs, verzekeringen en de huizenmarkt. Hoe een gemiddelde door één uitschieter verschuift, lees je op Gemiddelde en mediaan.