Persuasive communication

Centre for Language Studies | Faculty of Arts | Radboud University Nijmegen

Replicatie zonder irritatie

Elke week verschijnt op deze site een bijdrage van één van onze onderzoekers over communicatie in onderzoek en praktijk. Deze week: Lettica Hustinx, over replicatiestudies.

De grote Kahneman zei het al vele jaren geleden: we moeten meer replicatieonderzoek doen. En inderdaad, op bescheiden schaal geven we gehoor aan die oproep. Binnenkort verschijnt er in Tijdschrift voor Taalbeheersing een replicatieonderzoek van Carel Jansen en zijn team van de RUG, waarin hij een mooie replicatie rapporteert. Zonder nu echt op de inhoud van het onderzoek te focussen, wil ik graag verhalen hoe een en ander in de praktijk kan verlopen. Want datgene wat Jansen repliceerde was onderzoek van Anneke de Graaf en mij van enkele jaren geleden (in 2015 gepubliceerd) dat ging over de invloed van hoe (on)sympathiek een hoofdpersoon wordt portretteert in een verhaal. Zo’n replicatie heeft best wat voeten in de aarde en wellicht kan ik hier wat tips geven.

Bij het replicatieonderzoek, dat in het kader van een scriptieonderzoek werd gedaan, werd hetzelfde materiaal gebruikt voor de directe replicatie, en voor de conceptuele replicatie een ander verhaal maar wel met dezelfde theorie. Jansen legt dat allemaal prima uit in zijn artikel, waarbij hij verwijst naar Eerland en van den Berg (2016) voor dit onderscheid. Wat al heel prettig was, is dat we werden gebeld met de vraag of we wilden meewerken aan deze replicatie. Tuurlijk deden we dat, ook al was het best nog een werk om alle materialen, instrumentatie, ruwe data, en analyses van jaren terug bijeen te zoeken. Dat is voor zowel de ‘replicator’ als de ‘gerepliceerde’ een onhandig facet: als niet alle materiaal in een artikel voorhanden is, dan ben je afhankelijk van de auteurs, die op hun beurt tijd moeten maken om alles weer op te zoeken.

Uiteraard bespraken we ook of en hoe er voor de student in kwestie nog wat te leren viel. Immers, alles was al verzonnen en uitgevoerd. Dan is zo’n conceptuele replicatie een prima extraatje: dan moet de student zelf aan de slag met experimenteel materiaal, moet er extra literatuur gezocht worden (bijv. ook over replicatieonderzoek) en zo wordt een totaal scriptieprogramma doorlopen. Ook mogelijk is een directe replicatie te doen, maar nog extra condities en metingen erbij te doen, zodat je zowel de echte replicatie als de uitgebreide versie kunt rapporteren.

Als zo’n replicatieonderzoek is afgerond, zijn er in principe drie uitkomsten: de replicatie is geslaagd of is niet geslaagd, of iets daartussenin. Dan is het verstandig om aan beide zijden elegant met de bevindingen om te gaan, vooral als er niet hetzelfde uitkomt. Aan de kant van de gerepliceerde zul je hoe dan ook moeten openstaan voor wetenschappelijk kritiek, en aan de kant van de repliceerder is het te overwegen om duidelijk te maken dat het niet zo is dat je je collega’s verdenkt van knulligheden of data-geknoei.

In ons specifieke geval dacht ik: nou leuk, er is best veel overeenkomst, gelukkig maar. Maar onze collega’s van de RUG zagen toch meer de verschillen en zagen ons onderzoek als niet gerepliceerd. En dan krijg je de gekke situatie dat je je gaat afvragen: wie heeft er nu gelijk? En mag je je dit eigenlijk wel afvragen, moet ik daar niet eens een boek over lezen? Of kan er na zoveel jaar misschien minder invloed optreden van een narratief? Of was onze student niet gewoon een betere proefleider dan die van de RUG?  Ik citeer uit een email van mij aan Jansen:  “Zeg Carel, wat vind je van deze gedachtegang: als je een onderzoek A hebt, en B repliceert dat, en op vele relevante punten komt hetzelfde uit, maar op sommige punten niet. Stel dat bij A wel wat uitkomt, en bij B niet (of andersom), aan welke moet je dan het meeste belang hechten? Immers: wanneer komt er iets niet uit? Ofwel het effect is er niet. Ofwel er is te weinig power. Ofwel er is teveel variantie of je hebt iets geks gedaan. Wanneer iets wel uitkomt, dan komt dat er uit ondanks al die dingen, of je meet een artefact of iets confoundeds”.

En Jansen heeft op zijn beurt ervoor gezorgd dat er niet op tenen werd getrapt en heeft een voor iedereen acceptabele verklaring gezocht en gevonden: in alle onderzoeken, zowel dat van ons als die van zijn team, was er te weinig power. En guess what, Anneke de Graaf, ikzelf, Jansen en zijn co-auteur en weer drie nieuwe studenten gaan met z’n allen een veel grotere replicatie opzetten, gezellig weer samen onderzoek doen, maar nu met kei-veel power. Onlangs hebben we in Zwolle, als tussenpost tussen Nijmegen en Groningen in, daar uitgebreid over gesproken en leuke plannen gemaakt. Hopelijk kun je over een tijd lezen hoe dat is afgelopen.

Leave a Reply