Psychologisch onderzoek bevat ernstige fouten

Gepubliceerd op 29 september 2009, 15:09
Auteur: StudNed.nl Redactie (Marcel)

In psychologisch wetenschappelijk onderzoek worden veel ernstige statistische fouten gemaakt. Nederlandse onderzoekers hebben elementaire statistische methodes niet goed onder de knie en doen uitspraken die stelliger zijn dan ze kunnen waarmaken. Dat blijkt uit onderzoek waarop Rink Hoekstra op 8 oktober promoveert aan de Rijksuniversiteit Groningen.

Bij psychologisch onderzoek werkt men vaak aan de hand van steekproeven. De gegevens uit deze steekproeven  worden dan vervolgens gegeneraliseerd om zo iets te kunnen zeggen over de populatie waar het onderzoek op gericht is. Er zijn verschillende methodes om te generaliseren, waarvan de significantietoets veruit het meest wordt gebruikt. Deze methode wordt ingezet om te kijken of bepaalde uitkomsten niet op toeval berust.

Onbetrouwbaar door onwetendheid
De betrouwbaarheid van de significantieproef  staat volgens Hoekstra  al decennia lang ter discussie. Uit het onderzoek van Hoekstra blijkt dat steekproefgegevens zelden door betrouwbaarheidsmechanismen (zoals betrouwbaarheidsintervallen) worden genuanceerd. Hoekstra: “Als je heel kritisch kijkt, vind je in vrijwel elk gepubliceerd artikel iets wat niet klopt. Ook in gerenommeerde tijdschriften.” Uit interviews met en tests van dertig promovendi aan zeven Nederlandse universiteiten blijkt dat geen sprake is van onwil, maar vooral van onkunde en onwetendheid. Hoekstra: “De fouten zijn zo gewoon geworden, dat niemand ze meer ziet.”

Scoren
Een andere reden voor statistische fouten is dat het onderzoeksresultaat op die manier beter te presenteren is.  Hoekstra: Wetenschappers streven de waarheid na. Maar in de praktijk zijn zij ook zeer gericht op het zo goed mogelijk presenteren van hun eigen onderzoek. Mijn onderzoeksresultaten suggereren dat onderzoekers geneigd zijn redelijk zwart-wit te denken en dingen stelliger te beweren dan ze feitelijk kunnen waarmaken. Als je zegt dat iets significant is, dan bekt dat lekker. En tijdschriftredacties zijn dan misschien ook sneller in je artikel geïnteresseerd: die willen het liefst aansprekende verhalen publiceren.”

Hoekstra pleit op basis van zijn onderzoek voor verbetering in het onderwijs in de statistiek.

Tags: #promoveren, #Wetenschap


Plaats een reactie


Volg StudNed.nl via: