Hersentraining: wat werkt er wel en niet volgens onderzoek

Wij verkopen hersentraining. Dat maakt dit een ongemakkelijk stuk om te schrijven, want het eerlijke antwoord op de vraag in de titel valt voor een deel in ons nadeel uit. We zetten het toch op, met de bronnen erbij, omdat je anders alleen ons woord hebt. Wie na het lezen besluit om niets te kopen, heeft dit artikel goed begrepen.

Hieronder staat wat de grootste studies vonden, waarom onderzoekers onderling zo verschillend oordelen, en wat er daadwerkelijk overeind blijft. Daarna leggen we onze eigen keuzes ernaast, inclusief een rekensom die verklaart waarom er in ons programma iets ontbreekt dat je bij anderen wel ziet.

Waarom kreeg Lumosity in 2016 een boete van de Amerikaanse toezichthouder?

In januari 2016 maakte de Amerikaanse Federal Trade Commission een schikking bekend met Lumos Labs, het bedrijf achter Lumosity. Het persbericht heet Lumosity to Pay $2 Million to Settle FTC Deceptive Advertising Charges for Its “Brain Training” Program. De rechtbank legde een vonnis van 50 miljoen dollar op, dat werd opgeschort na betaling van 2 miljoen dollar aan gedupeerde consumenten.

De FTC verweet Lumosity drie soorten reclame-uitspraken zonder deugdelijke onderbouwing: dat het spelen je prestaties op school, op het werk en in de sport verbetert, dat het achteruitgang op latere leeftijd uitstelt, en dat het klachten vermindert bij aandoeningen variërend van een beroerte tot ADHD. Daarnaast bleek dat zesenveertig van de uitgelichte gebruikerservaringen op de site waren ingestuurd door mensen die meededen aan een prijsvraag, met onder meer een iPad en een reis naar San Francisco als prijs. Dat stond er niet bij.

Let goed op wat de FTC hier zegt en wat niet. De toezichthouder oordeelde niet dat de spellen niets doen. Hij oordeelde dat het bedrijf de beloftes niet kon staven. De schikking verplicht Lumos Labs om voortaan over bewijs uit onderzoek met mensen te beschikken vóórdat zo’n uitspraak in een advertentie belandt.

Vier maanden later volgde een tweede zaak, tegen franchiseketen LearningRx. Daar ging het om een vonnis van 4 miljoen dollar, opgeschort na betaling van 200.000 dollar. De FTC noemde daarbij ook het adverteren op zoekwoorden waarmee mensen naar genezing zochten. Het patroon in beide zaken is hetzelfde: niet het product was het probleem, maar de tekst eromheen.

Waarom draait de hele discussie om het woord overdracht?

In dit vakgebied heet het kernbegrip transfer, in het Nederlands overdracht. Nabije overdracht wil zeggen dat je beter wordt in taken die sterk lijken op wat je oefende. Verre overdracht wil zeggen dat de winst opduikt in iets heel anders, buiten het scherm, in situaties waar je nooit voor geoefend hebt.

Nabije overdracht is nooit het punt van discussie geweest. Wie zes weken lang vakjes onthoudt, onthoudt na zes weken meer vakjes. Dat is oefening, en oefening werkt. De verkoopbelofte van deze hele markt zit echter in de verre overdracht, en precies daar wringt het onderzoek.

Wat vonden de grootste studies precies?

De bekendste is die van Adrian Owen en collega’s, gepubliceerd in Nature in 2010 onder de titel Putting brain training to the test. In samenwerking met de BBC trainden tienduizenden mensen zes weken lang online. Ruim 11.400 deelnemers rondden het hele traject af. De uitkomst: op de geoefende taken gingen mensen vooruit, en die vooruitgang was op niet-geoefende taken niet terug te vinden.

In 2016 verscheen in Perspectives on Psychological Science een meta-analyse van Melby-Lervåg, Redick en Hulme over werkgeheugentraining. Zij bekeken 87 publicaties met 145 vergelijkingen. Vlak na de training zagen ze betrouwbare verbeteringen op verwante geheugentaken. Voor verre overdracht, gemeten als taalvaardigheid, rekenen, begrijpend lezen of niet-talige redeneervaardigheid, vonden ze geen overtuigend bewijs zodra er met een behandelde controlegroep werd vergeleken.

In hetzelfde jaar publiceerde een groep onder leiding van Daniel Simons het overzichtsartikel Do “Brain-Training” Programs Work? in Psychological Science in the Public Interest. Hun oordeel over de commerciële programma’s was terughoudend: de geadverteerde verre overdracht is niet waargemaakt.

Fernand Gobet en Giovanni Sala kwamen er in 2023 op terug in een artikel met de veelzeggende titel Cognitive Training: A Field in Search of a Phenomenon. Hun terugkerende bevinding: zodra je de trainingsgroep vergelijkt met een actieve controlegroep, dus met mensen die óók iets deden, zakt het effect voor verre overdracht richting nul.

Er is ook onderzoek dat de andere kant op wijst. Hampshire, Sandrone en Hellyer ondervroegen in 2019 in Frontiers in Human Neuroscience ruim zestigduizend mensen. Wie aan hersentraining deed, scoorde over de hele groep genomen niet beter, een verschil van 0,06 standaarddeviatie. Maar wie al langer dan een jaar trainde, scoorde 0,32 standaarddeviatie boven de niet-trainende groep. Dit is een momentopname en geen proef, dus de verklaring kan net zo goed andersom lopen: wie het goed afgaat, houdt het langer vol. De onderzoekers vonden bovendien dat puzzelen en gewone videogames sterker samenhingen met de testscores dan de commerciële programma’s.

Waarom zijn wetenschappers het onderling niet eens?

In oktober 2014 publiceerden het Stanford Center on Longevity en het Berlijnse Max Planck Institute for Human Development een gezamenlijke verklaring, ondertekend door ongeveer zeventig onderzoekers. Hun conclusie was dat er geen overtuigend bewijs is voor de beloftes van de hersentrainingsindustrie en dat die beloftes stelselmatig worden opgeblazen.

Twee maanden later verscheen een tegenbrief, ondertekend door 133 wetenschappers en behandelaars, verzameld op de site Cognitive Training Data. Hun bezwaar: de literatuur bevat wel degelijk aangetoonde effecten, en de Stanford-verklaring wekt ten onrechte de indruk dat geen enkele vorm van training ooit iets oplevert.

Twee verklaringen, twee lange handtekeningenlijsten, tegengestelde conclusies. Dat is minder gek dan het lijkt. De twee kampen bedoelen niet hetzelfde met het woord werkt. De een kijkt naar commerciële producten met verre overdracht als maatstaf, de ander naar elke vorm van gerichte training met welke uitkomstmaat dan ook. Wie de vraag anders stelt, krijgt een ander antwoord, en beide antwoorden kunnen te goeder trouw zijn.

Hoe kan een studie een effect vinden dat er niet is?

Hier ligt de meest leerzame vondst uit dit vakgebied. Foroughi en collega’s publiceerden in 2016 in PNAS een studie met de titel Placebo effects in cognitive training. Ze wierven vijftig deelnemers met twee verschillende oproepen. De ene sprak van hersentraining en het verbeteren van je denkvermogen, de andere vroeg alleen om mee te doen aan een onderzoek. Iedereen kreeg daarna precies dezelfde oefening.

Wie op de suggestieve oproep was afgekomen, ging na één sessie van een uur vooruit met een grootte die overeenkomt met vijf tot tien punten op een gangbare intelligentietest. De andere groep ging niet vooruit. Eén uur oefenen verandert niemand, dus wat je hier meet is verwachting. De auteurs keken vervolgens naar de wervingsteksten van negentien eerdere studies: op twee na noemden ze allemaal open en bloot hersentraining.

Daar komt het oefeneffect bovenop. Doe een test twee keer, en de tweede keer gaat beter, omdat je de opdracht kent. Zonder controlegroep die dezelfde tests op dezelfde momenten aflegt, is elke stijging tussen meting één en meting twee onbruikbaar. Een passieve controlegroep, die tussendoor niets doet, dekt dat maar half af, want die mist ook de aandacht en de structuur die de trainingsgroep wel krijgt.

Wat komt er dan wel consistent uit?

Er blijft genoeg overeind, alleen niet het deel waar de reclame over gaat. Dit zijn de bevindingen die in vrijwel elk overzicht terugkomen:

• Je wordt beter in de oefening die je doet. Dit is het best herhaalde resultaat in het hele vakgebied en er is geen serieuze twijfel over.
• Die winst blijft dicht bij de oefening. Hoe verder de uitkomstmaat van de training af staat, hoe kleiner het gevonden effect.
• Dezelfde meting herhalen levert een hogere score op, ook zonder dat er iets veranderd is.
• Verwachting beïnvloedt de uitkomst meetbaar, al vanaf de wervingstekst waarmee mensen binnenkomen.
• Hoe strenger de opzet, hoe kleiner het effect. Studies met een actieve controlegroep vinden stelselmatig minder dan studies zonder.

Wat betekent dat voor wat wij verkopen?

De tabel hieronder zet de beloftes uit deze markt naast wat het onderzoek erover zegt en naast wat wij er zelf mee doen. Die laatste kolom is de reden dat hij er staat: hij is op ons controleerbaar. Vind je op deze site iets dat de derde kolom tegenspreekt, dan is dat een fout en horen we het graag.

Onze eigen rekensom: waarom er geen hertest op dag dertig in zit

Veel programma’s laten je aan het eind opnieuw meten en tonen dan je vooruitgang. Dat verkoopt goed. Wij doen het niet, en de reden is een rekensom die we hier gewoon opschrijven.

Onze test bestaat uit vijf onderdelen van 45 seconden. Bij zo’n korte meting hangt de uitkomst mede af van de dag: hoe je zat, of de tablet haperde, of je net werd afgeleid. Noem de kans dat één onderdeel bij een tweede meting lager uitvalt puur door die ruis p. De kans dat minstens één van de vijf onderdelen lager uitvalt, volgt dan uit de formule 1 - (1 - p)^5.

Dit is een rekensom en geen meting. Ze gaat ervan uit dat de vijf onderdelen los van elkaar bewegen en dat de ruis geen richting heeft, en beide aannames zijn te simpel. Het gaat om de orde van grootte. Zelfs bij een bescheiden kans van twintig procent per onderdeel is een gemengde uitslag bij een hertest het normale geval en niet de uitzondering.

Wij hebben geen test-hertestgegevens, dus wij kunnen zo’n lager cijfer niet aantoonbaar als ruis wegzetten. Een betaald rapport dat iemand zwart op wit een daling laat zien, terwijl wij niet kunnen uitleggen wat die daling betekent, wilden we niet maken. Daarom zit er geen hertest en geen certificaat in het programma. In plaats daarvan krijg je je vijf onderdelen ten opzichte van elkaar, plus het onderdeel dat er bij jou uitspringt. Dat is een vergelijking binnen je eigen uitslag, en die heeft geen andere spelers nodig om te kloppen.

Wat koop je dan voor €29?

Een spel en een uitslag. Je krijgt je score op alle vijf de onderdelen, je onderlinge profiel, acht spellen in eenentwintig standen, en dertig dagen van drie rondes. Je records blijven bewaard en de toegang loopt niet af. Dat is de hele opsomming, en er staat opzettelijk niets bij over wat het buiten het scherm met je zou doen.

Wat wij wel durven te zeggen, omdat het over het spel zelf gaat: de opgaven passen zich aan je antwoorden aan, dus het blijft lastig genoeg om je aandacht vast te houden. Of je dat leuk vindt, is de enige vraag die er bij aanschaf toe doet. Vind je van niet, dan is er de herroepingsregeling, en de gratis breintest laat je vooraf zien wat je koopt.

Welke vragen kun je aan een aanbieder van hersentraining stellen?

Dit lijstje helpt bij elke aanbieder, ook bij ons. We zetten onze eigen antwoorden er meteen bij.

1. Waarmee is het vergeleken? Zonder actieve controlegroep zegt een gevonden verbetering weinig. Ons antwoord: wij hebben geen eigen effectonderzoek en beweren dus ook niets over effect.
2. Op welke taak is de winst gemeten? Is dat dezelfde taak als de oefening, dan meet je oefening. Ons antwoord: onze score meet uitsluitend hoe je onze spellen speelde.
3. Wie deed het onderzoek en wie betaalde het? Onderzoek in eigen beheer weegt lichter. Ons antwoord: alle bronnen op deze pagina zijn van buiten en staan onderaan.
4. Hoeveel mensen deden mee en hoeveel maakten het af? Bij Owen begon een veelvoud van de 11.400 die het afmaakten. Wie afhaakt, verdwijnt uit de cijfers.
5. Waar komen de beoordelingen vandaan? De Lumosity-zaak liet zien waarom die vraag hout snijdt. Ons antwoord: wij hebben er geen, want we hebben nog geen klanten.

Waar zouden wij ongelijk kunnen hebben?

Op twee punten. Het eerste is dat vrijwel al het genoemde onderzoek naar korte programma’s van enkele weken kijkt. De 0,32 standaarddeviatie die Hampshire vond bij mensen die langer dan een jaar trainden, past niet netjes in het sombere beeld, ook al kun je er door de opzet geen oorzaak uit afleiden.

Het tweede is dat afwezigheid van bewijs iets anders is dan bewijs van afwezigheid. Dat iets in goed opgezette studies niet is aangetoond, betekent niet dat het is uitgesloten. Het betekent dat wij het niet mogen verkopen. Verschijnt er een proef met een actieve controlegroep en een blijvend effect buiten de geoefende taken, dan passen we deze pagina aan en zetten we de datum van die wijziging erbij.

Bronnen

• Federal Trade Commission, januari 2016. Lumosity to Pay $2 Million to Settle FTC Deceptive Advertising Charges
• Federal Trade Commission, mei 2016. Marketers of One-on-One ‘Brain Training’ Programs Settle FTC Charges
• Owen e.a., Nature, 2010. Putting brain training to the test
• Melby-Lervåg, Redick en Hulme, Perspectives on Psychological Science, 2016. Working Memory Training Does Not Improve Performance on Measures of Intelligence or Other Measures of “Far Transfer”
• Simons e.a., Psychological Science in the Public Interest, 2016. Do “Brain-Training” Programs Work?
• Gobet en Sala, Perspectives on Psychological Science, 2023. Cognitive Training: A Field in Search of a Phenomenon
• Hampshire, Sandrone en Hellyer, Frontiers in Human Neuroscience, 2019. A Large-Scale, Cross-Sectional Investigation Into the Efficacy of Brain Training
• Foroughi e.a., PNAS, 2016. Placebo effects in cognitive training
• Stanford Center on Longevity en Max Planck Institute for Human Development, oktober 2014. A Consensus on the Brain Training Industry from the Scientific Community
• Cognitive Training Data, december 2014. Cognitive Training Data Response Letter

Wie dit geschreven heeft

Dit artikel is geschreven door de redactie van Skillido, een product van Next Day Online B.V. uit Wilp, ingeschreven bij de Kamer van Koophandel onder nummer 08198136. Klopt er iets niet, of mist er een bron die we hadden moeten noemen, dan gaat dat naar hallo@skillido.com en past een mens de tekst aan.

Verder lezen over onze eigen methode kan op Hoe de BreinScore werkt. Daar staat wat het getal wel en niet is.