A simulation study of rater agreement measures with 2x2 contingency tables

Mediante un estudio de simulación se aborda una comparación entre seis medidas obtenidas usando tres enfoques diferentes para la evaluación del acuerdo. Los coeficientes de acuerdo elegidos fueron o de Bennet (1954), T de Scott (1955), K de Cohen (1960) y Y de Gwet (2001; 2008) para representar el e...

Full description

Bibliographic Details
Main Authors: Manuel Ato, Juan José López, Ana Benavente
Format: Article
Language:English
Published: Sciendo 2012-01-01
Series:Psicológica
Online Access:http://www.redalyc.org/articulo.oa?id=16923102012
Description
Summary:Mediante un estudio de simulación se aborda una comparación entre seis medidas obtenidas usando tres enfoques diferentes para la evaluación del acuerdo. Los coeficientes de acuerdo elegidos fueron o de Bennet (1954), T de Scott (1955), K de Cohen (1960) y Y de Gwet (2001; 2008) para representar el enfoque clásico descriptivo, el coeficiente ¿ de Aickin (1990), para representar el enfoque de los modelos loglineal y mixtura ("mixture models") y la medida A de Martín and Femia (2004) para representar el enfoque de los test de elección multiple. Los resultados obtenidos confirman que los coeficientes T y Kpresentan diferencias notables en relación a los restantes coeficientes particularmente en presencia de valores extremos de prevalencia y sesgo entre observadores. El mejor comportamento fue observado con los coeficientes ¿ de Bennet y ¿ de Martín and Femia para todos los valores de prevalencia y sesgo entre observadores.
ISSN:1576-8597