Wanneer psychologen proberen om experimenten van hun collega’s opnieuw te doen, krijgen ze zes keer op de tien een ander resultaat. Soms zelfs een tegengesteld.
In Science, een van de meest gereputeerde vakbladen uit de wetenschap, melden 270 psychologen dat ze de jongste drie jaar honderd onderzoeken, allemaal gepubliceerd in drie van de hoogst aangeschreven bladen uit hun vakgebied, hebben overgedaan. Vaak in samenwerking met de originele auteurs.
De resultaten waren nogal ontluisterend: slechts 39 procent gaf onweerlegbaar hetzelfde resultaat. Alle originele onderzoeken (op 3 na) hadden een ‘beduidend’ resultaat: met een klassieke statistische berekening (de ‘P-waarde’) konden ze aantonen dat er minder dan vijf procent kans was dat hun metingen aan toeval waren te wijten. Toen ze herdaan werden, bleken er slechts 36 van de 100 nog beduidend. Een dozijn sprak de originele resultaten zelfs tegen.
Drie mogelijke oorzaken
De speurders zien drie mogelijke oorzaken. Ofwel speelden er meer 
factoren mee dan de onderzoekers beseften, en is de verklaring voor wat ze zagen ingewikkelder dan degene die ze gaven. Ofwel hadden ze gewoon pech – de spreekwoordelijke ‘vlieg op de lens’. Ofwel waren hun resultaten slechts bij toeval beduidend, en zou dat gebleken zijn als ze langer en grondiger hadden gemeten. Iets wat de auteurs van het Science-artikel trouwens zelf ook overkwam. In november 2013 vertelden ze aan de redactie van het blad Nature dat het wel mee leek te vallen met het psychologisch onderzoek: van de eerste dertien onderzoeken die ze overgedaan hadden, zaten er tien goed.