A simulation study of rater agreement measures with 2x2 contingency tables

• Main Authors: Manuel Ato, Juan José López, Ana Benavente
• Format: Article
• Language: English
• Published: Sciendo 2012-01-01
• Series: Psicológica
• Online Access: http://www.redalyc.org/articulo.oa?id=16923102012

Mediante un estudio de simulación se aborda una comparación entre seis medidas obtenidas usando tres enfoques diferentes para la evaluación del acuerdo. Los coeficientes de acuerdo elegidos fueron o de Bennet (1954), T de Scott (1955), K de Cohen (1960) y Y de Gwet (2001; 2008) para representar el enfoque clásico descriptivo, el coeficiente ¿ de Aickin (1990), para representar el enfoque de los modelos loglineal y mixtura ("mixture models") y la medida A de Martín and Femia (2004) para representar el enfoque de los test de elección multiple. Los resultados obtenidos confirman que los coeficientes T y Kpresentan diferencias notables en relación a los restantes coeficientes particularmente en presencia de valores extremos de prevalencia y sesgo entre observadores. El mejor comportamento fue observado con los coeficientes ¿ de Bennet y ¿ de Martín and Femia para todos los valores de prevalencia y sesgo entre observadores.