Persuasive communication

Centre for Language Studies | Faculty of Arts | Radboud University Nijmegen

Interbeoordelaarsbetrouwbaarheid: het probleem van stalinistische Cohen’s kappa’s en blubberige data

Op vrijdag 28 maart vond de workshop ‘Interbeoordelaarsbetrouwbaarheid van kwantitatieve inhoudsanalyses’ plaats. De workshop, een initiatief van Renske van Enschot en Wilbert Spooren, richtte zich op problemen rondom de betrouwbaarheid van kwantitatieve inhoudsanalyses.

Uiteenlopende beoordelingen

Taalbeheersers die dit soort analyses uitvoeren lopen vaak tegen hetzelfde probleem aan: de coderingen van verschillende beoordelaars lopen vaker wel dan niet sterk uiteen, resulterend in een lage interbeoordelaarsbetrouwbaarheidsscore, terwijl wetenschappelijke tijdschriften alleen genoegen nemen met betrouwbaarheidsscores die al na een eerste analyseronde acceptabel zijn.

stalinistische Cohen’s kappa’s en blubberige data
In zeven presentaties gingen onderzoekers van de Vrije Universiteit, Universiteit van Tilburg, Universiteit van Amsterdam, UC Louvain en Radboud Universiteit dieper in op deze problematiek en bespraken zij manieren om deze problematiek aan te pakken. Er werd geanimeerd gediscussieerd over “stalinistische Cohen’s kappa’s” en “blubberige data”. Centraal punt in de discussie was de aard van het probleem: komen lage betrouwbaarheidsscores voort uit gebrekkige conceptualisaties van de onderzochte verschijnselen of zijn de onderzochte verschijnselen gewoonweg te complex om betrouwbare uitspraken over de interpretatie ervan te kunnen doen?

De workshop voldeed aan de behoefte van veel onderzoekers om over deze vraag met elkaar in gesprek te gaan en te discussiëren over valide en betrouwbare methodes om kwantitatieve inhoudsanalyses uit te voeren die ook op goedkeuring van reviewers kunnen rekenen. Het succes van de workshop heeft geleid tot concrete initiatieven voor toekomstige workshops over dit onderwerp. Tot het zover is kunnen de sprekers van afgelopen vrijdag zich troosten met het onderstaande citaat, afgedrukt op een tegeltje dat elk van hen mee naar huis kreeg.

interpretation

Overzicht van de presentaties

Gerard Steen (VU): Wanneer zijn metaforen opzettelijk? Naar een betrouwbare identificatieprocedure.

Abstract

Florian Kunneman/Antal van den Bosch (RUN): Cohen’s Kappa versus imbalanced binary annotation problems

Abstract

Yvette Linders (RUN): Het afstemmen van de betrouwbaarheidsmaat op de onderzoeksvraag

Abstract

Carel van Wijk/Fons Maes (UvT): Betrouwbaarheid: doel of middel?

Abstract

Christian Burgers (VU): Betrouwbaarheid vs. validiteit? Identificatie van sarcasme in boeken en tweets

Abstract

Christine Liebrecht/Margot van Mulken (UvA/RUN): Waardeer context en semantiek!

Abstract

Liesbeth Degand/Wilbert Spooren (UCL/RUN): Kunnen we discourserelaties betrouwbaar coderen?

Abstract

Share this on social networks

Leave a Reply