Persuasive communication

Centre for Language Studies | Faculty of Arts | Radboud University Nijmegen

Workshop Interbeoordelaarsbetrouwbaarheid van kwantitatieve inhoudsanalyses

Workshop Interbeoordelaarsbetrouwbaarheid van kwantitatieve inhoudsanalyses

Datum: vrijdag 28 maart

Tijd: 09:30 – 18:00 uur

Locatie: Erasmusgebouw (Erasmusplein 1), lokaal E2.06
Reizen naar de RU op 28 maart: De NS werkt op de dag van de workshop aan het spoor rond Den Bosch. Naar het zich laat aanzien, heeft dit voor reizigers via Den Bosch naar Nijmegen geen consequenties, maar check voor de zekerheid even de NS-reisplanner.

Organisatoren: Renske van Enschot en Wilbert Spooren

Workshop Interbeoordelaarsbetrouwbaarheid van kwantitatieve inhoudsanalyses

Introductie

Elke onderzoeker die wel eens een kwantitatieve inhoudsanalyse heeft gedaan, zal het herkennen. Zodra er subjectieve data geanalyseerd moeten worden, lopen categoriseringen tussen beoordelaars uiteen (deels door de inherente ambiguïteit van talige verschijnselen, deels door echte codeerfouten), ondanks een uitgebreide opwarm-/trainingsfase, uitgebreide instructies (codeboek), beperking van het aantal categorieën en de inzet van experts in plaats van minder getrainde beoordelaars. Vaak zijn verschillende beoordelingsrondes nodig om tot een voldoende hoge interbeoordelaarsbetrouwbaarheidsscore (bv. Cohen’s kappa) te komen. Tegelijkertijd eisen wetenschappelijke tijdschriften kappa’s die al na één beoordelingsronde voldoende hoog zijn. Alleen dan zouden de categorieën concreet genoeg zijn en de categoriseringen repliceerbaar en valide. Met de toenemende aandacht voor (al dan niet bewegend) beeld, rijke corpora, etc. wordt de problematiek alleen maar prangender.

Deze workshop richt zich op de problematiek rondom de betrouwbaarheid van kwantitatieve inhoudsanalyses. Hoe reëel is de genoemde eis van de wetenschappelijke tijdschriften en in hoeverre kunnen/willen we daaraan tegemoet komen? Is onze tak van sport al ver genoeg om zich te meten met de gamma/bètawetenschappen? Is de aard van verschijnselen waarin wij geïnteresseerd zijn zo complex dat er geen betrouwbaar analysemodel voor te formuleren is? Wat doen mensen die wel een betrouwbare kappa rapporteren?

Programma

De dag wordt ingevuld met verschillende sterk datageoriënteerde presentaties van onderzoekers uit Nederland en Vlaanderen en een afsluitende discussie:

09.30-10.00 Ontvangst met koffie

10.00-10.15 Opening (Renske van Enschot)

10.15-10.40 Gerard Steen (VU): Wanneer zijn metaforen opzettelijk? Naar een betrouwbare identificatieprocedure.

Abstract

10.45-11.10 Florian Kunneman/Antal van den Bosch (RUN): Cohen’s Kappa versus imbalanced binary annotation problems

Abstract

11.15-11.30 Koffiepauze

11.30-11.55 Yvette Linders (RUN): Het afstemmen van de betrouwbaarheidsmaat op de onderzoeksvraag

Abstract

12.00-12.30 Carel van Wijk/Fons Maes (UvT): Betrouwbaarheid: doel of middel?

Abstract

12.30-13.30 Lunch

13.30-14.00 Christian Burgers (VU): Betrouwbaarheid vs. validiteit? Identificatie van sarcasme in boeken en tweets

Abstract

14.00-14.30 Christine Liebrecht/Margot van Mulken (UvA/RUN): Waardeer context en semantiek!

Abstract

14.30-14.45 Koffiepauze

14.45-15.15 Liesbeth Degand/Wilbert Spooren (UCL/RUN): Kunnen we discourserelaties betrouwbaar coderen?

Abstract

15.15-16.00 Afsluitende discussie

16.00-16.15 Afsluiting (Renske van Enschot)

Vanaf 16.15 Borrel

Er is ruimte voor circa 25 onderzoekers. Deelname aan de workshop is in principe op uitnodiging.

Share this on social networks

Leave a Reply