A simulation study of rater agreement measures with 2x2 contingency tables

Un estudio de simulacion de medidas de acuerdo entre observadores para tablas de contingencia 2x2. Mediante un estudio de simulacion se aborda una comparacion entre seis medidas obtenidas usando tres enfoques diferentes para la evaluacion del acuerdo. Los coeficientes de acuerdo elegidos fueron sigm...

Full description

Bibliographic Details
Main Authors: Ana Benavente, Juan José López, Manuel Ato
Format: Article
Language:English
Published: Sciendo 2011-01-01
Series:Psicológica
Online Access:http://www.redalyc.org/articulo.oa?id=16920109012
Description
Summary:Un estudio de simulacion de medidas de acuerdo entre observadores para tablas de contingencia 2x2. Mediante un estudio de simulacion se aborda una comparacion entre seis medidas obtenidas usando tres enfoques diferentes para la evaluacion del acuerdo. Los coeficientes de acuerdo elegidos fueron sigma de Bennet (1954), Pi de Scott (1955), Kappa de Cohen (1960) y gamma de Gwet (2001; 2008) para representar el enfoque clasico descriptivo, el coeficiente alpha de Aickin (1990), para representar el enfoque de los modelos loglineal y mixtura ("mixture models") y la medida delta de Martin and Femia (2004) para representar el enfoque de los test de eleccion multiple. Los resultados obtenidos confirman que los coeficientes Pi y kappa presentan diferencias notables en relacion a los restantes coeficientes particularmente en presencia de valores extremos de prevalencia y sesgo entre observadores. El mejor comportamento fue observado con los coeficientes alpha de Bennet y delta de Martin and Femia para todos los valores de prevalencia y sesgo entre observadores.
ISSN:1576-8597