Persuasive communication

Centre for Language Studies | Faculty of Arts | Radboud University Nijmegen

Een link tussen IQ en of je van kerst houdt

Elke week verschijnt op deze site een bijdrage van één van onze onderzoekers over communicatie in onderzoek en praktijk. Deze week: Roel Willems, over onbewust gesjoemel in de wetenschap. 

Waarom wetenschappers soms sjoemelen zonder het te weten

Ik heb een verband gevonden tussen hoe intelligent mensen zijn en hoeveel ze van kerst houden. Van honderd mensen heb ik het IQ gemeten en ik heb gevraagd hoeveel ze van kerst houden op een schaal van 1 tot 7 (helemaal niet – heel erg). Er was een positieve samenhang: mensen met een hoger IQ houden meer van kerst. Ik rekende samenhang uit als correlatie en deze was hoog (= 0.35), zo hoog dat we de samenhang statistisch significant noemen. Ter illustratie de data van de eerste 10 deelnemers:

U voelt het al aan: deze samenhang is flauwekul. Sterker nog, ik heb het experiment niet gedaan. De data zijn willekeurige (random) cijfers. Toch is er die statistische samenhang: Een hoge, positieve correlatie. Hoe kan dat?

Toevalstreffer

Als we een correlatie berekenen nemen we altijd mee dat de samenhang die we zien op toeval kan berusten. Er is dan geen echte samenhang, maar het resultaat ontstaat per toeval, een toevalstreffer. Dit is altijd zo, en in de statistiek wordt de foutmarge gecontroleerd door middel van de p-waarde. Als de kans op het maken van een fout klein genoeg is, vinden we deze acceptabel en noemen we de correlatie statistisch betekenisvol of significant. In dit geval is er per toeval een samenhang tussen de willekeurig gekozen cijfers, wat leidt tot een bizar verband.

Selectief rapporteren

Maar stel dat ik het experiment wel echt gedaan zou hebben. Dan nog kan dit verband per toeval ontstaan. De kans dat een toevallig verband gevonden wordt neemt echter enorm toe als er meerdere toetsen gedaan worden. Dus stel ik testte niet alleen voor een verband tussen IQ en kerst leuk vinden, maar ook nog tussen IQ en vijf andere voorkeuren. Dan zien de data er zo uit:

Ik bereken samenhang tussen IQ en alle andere variabelen. Omdat ik meerdere correlaties bereken wordt de kans dat een van die correlaties op toeval berust veel groter dan de acceptabele foutmarge. Hiervoor kunnen we eenvouding corrigeren, en als we dat doen, is er geen probleem.

Er is wel een probleem als we alleen maar de uitkomst van één correlatie rapporteren terwijl we er (veel) meer gedaan hebben. Dit heet selectief rapporteren. Ik ‘doe’ zes correlaties, maar in mijn artikel zeg ik dat ik er maar één gedaan heb. Dit is een statistische doodzonde, omdat de significantie van die ene correlatie door de lezer niet meer op waarde geschat kan worden. Soms doen onderzoekers dat bewust (bewuste fraude), soms doen ze het onbewust. De redenering is dan: ‘De verbanden die niet significant waren, zijn niet interessant en rapporteren we niet’. Dit is onbedoeld sjoemelen. Onvergeeflijk en de bron van heel veel bizarre en soms spectaculaire bevindingen. De gevonden correlatie is immers flauwekul, maar de lezer kan dit niet weten, omdat hij niet weet hoeveel correlaties er berekend zijn.

Conclusie

De moraal van het verhaal is simpel. Rapporteer altijd alles wat er in een experiment gedaan werd. Alle variabelen die gemeten werden, en alle statistiek die gedaan werd. Als er meerdere vergelijkingen of correlaties gedaan werden, corrigeer hier dan voor. Het leidt tot minder toevalstreffers, resultaten waar we echt in kunnen geloven, en minder bizarre krantenkoppen.

Leave a Reply