Tutorial 42 de 44 Análisis avanzados
Kappa de Cohen en SPSS: acuerdo entre dos evaluadores
Marcaste kappa y la tabla nunca apareció porque los códigos no coinciden. Aprende a calcular el kappa de Cohen en SPSS y a leer el grado de acuerdo.
Cuándo se usa
El kappa de Cohen mide el grado de acuerdo entre dos evaluadores que clasifican a los mismos casos en categorías. Descuenta el acuerdo que se produciría solo por azar, y por eso es más exigente que el simple porcentaje de coincidencias.
Se usa en estudios donde el dato depende del criterio de una persona: dos enfermeras que clasifican el riesgo de caída de los pacientes, dos docentes que califican un desempeño con una rúbrica en niveles, dos observadores que registran si una conducta se presenta o no. Demostrar que ambos coinciden es evidencia de que el instrumento de observación es confiable.
Tres límites:
- Es para dos evaluadores. Con tres o más, corresponde otro coeficiente.
- Es para categorías. Con puntajes numéricos, como notas de 0 a 20, corresponde la correlación intraclase.
- No es el coeficiente para la validez de contenido por juicio de expertos.
Antes de empezar (qué necesita tu base)
- Una fila por caso evaluado.
- Una columna por evaluador, con la categoría que asignó.
- Los mismos códigos y las mismas etiquetas en las dos columnas.
- Los mismos casos evaluados por ambos.
- Evaluaciones hechas de forma independiente.
El ejemplo es una tesis en un hospital de Ica: dos enfermeras clasificaron el riesgo de caída de 70 pacientes como bajo, medio o alto.
Paso a paso en SPSS
- En Vista de variables abre la columna Valores de las dos variables y compáralas. Deben tener los mismos códigos.
- Si no coinciden, ve a Transformar > Recodificar en distintas variables.
- Pasa la variable que vas a ajustar y dale un nombre nuevo. En el ejemplo, Evaluadora2 pasa a Evaluadora2R.
- En Valores antiguos y nuevos define la equivalencia. En el ejemplo: 0 a 1, 1 a 2 y 2 a 3. Pulsa Continuar y Aceptar.
- Coloca en la variable nueva las mismas etiquetas: 1 Bajo, 2 Medio, 3 Alto.
- Ve a Analizar > Estadísticos descriptivos > Tablas cruzadas.
- Pasa Evaluadora1 a Filas y Evaluadora2R a Columnas.
- Haz clic en Estadísticos y marca Kappa. Pulsa Continuar.
- Pulsa Aceptar.
- Lee la tabla cruzada y la tabla Medidas simétricas.
Cómo leer el resultado
Tabla cruzada. La diagonal principal contiene los casos en los que las dos evaluadoras coincidieron. Fuera de la diagonal están los desacuerdos. Sumar la diagonal y dividir entre el total da el porcentaje de acuerdo observado.
Tabla Medidas simétricas. Muestra el valor de Kappa, su error estándar asintótico y la significación aproximada.
El kappa va de -1 a 1. Un valor de 1 es acuerdo perfecto; 0, el acuerdo que se esperaría por azar; un valor negativo indica que coinciden menos que el azar. La escala más citada para interpretarlo es la de Landis y Koch: de 0,21 a 0,40, acuerdo aceptable; de 0,41 a 0,60, moderado; de 0,61 a 0,80, considerable; de 0,81 a 1,00, casi perfecto.
En el ejemplo, el kappa fue de 0,629, con un error estándar de 0,079 y p < 0,001. Corresponde a un acuerdo considerable. Las enfermeras coincidieron en el 75,7 % de los pacientes; el kappa es menor que ese porcentaje porque descuenta las coincidencias atribuibles al azar.
La significación no mide el acuerdo. Un valor p menor que 0,05 solo indica que el acuerdo es distinto de cero. Lo que se interpreta es el valor del kappa.
Cuando la tabla no aparece. En el primer intento del ejemplo, SPSS mostró una advertencia: no se calculan estadísticos de Kappa, porque requieren una tabla simétrica en la que los valores de la primera variable coincidan con los de la segunda. La tabla cruzada tenía filas 1, 2 y 3, y columnas 0, 1 y 2. Las dos enfermeras usaron la misma escala, pero una se digitó del 1 al 3 y la otra del 0 al 2. Además, el 1 significaba bajo en una y medio en la otra. Cambiar filas por columnas no resuelve nada.
Si las categorías tienen muchos niveles ordenados, conviene el kappa ponderado, que considera qué tan lejos está un desacuerdo.
Cómo redactarlo en tu tesis
Un párrafo modelo en formato APA 7:
Para evaluar la concordancia entre las dos evaluadoras en la clasificación del riesgo de caída se calculó el coeficiente kappa de Cohen. Las evaluadoras coincidieron en el 75,7 % de los 70 pacientes. El acuerdo fue considerable, κ = 0,629, p < 0,001, según la escala de Landis y Koch (1977), lo que respalda la confiabilidad del procedimiento de clasificación.
La tabla que acompaña es la tabla cruzada de las dos evaluadoras, con las frecuencias de cada casilla, y el kappa en la nota. En el método se describe cómo evaluaron: de manera independiente y con los mismos criterios.
Errores frecuentes
Tener códigos distintos en las dos evaluadoras. SPSS no calcula el coeficiente, o lo calcula sobre categorías que no se corresponden. Sin ese resultado, el asesor no acepta la confiabilidad del registro.
Usar kappa con puntajes de escala. Con notas o puntajes numéricos, casi ninguna coincidencia es exacta y el coeficiente no refleja el acuerdo real. Ese caso tiene su propio procedimiento, y hacerlo mal obliga a rehacer el análisis.
Concluir que el acuerdo es bueno porque el kappa es significativo. La significación no dice qué tan alto es el acuerdo, que es lo que el jurado quiere saber.
Usarlo para la validez por jueces. La validez de contenido por expertos se cuantifica con otro coeficiente. Confundirlos es un error que el jurado detecta.
Reportar solo el porcentaje de acuerdo. Sobreestima la concordancia, porque incluye las coincidencias casuales.
En MiTítulo, antes de calcular el kappa revisamos tres cosas: que las dos evaluadoras usen los mismos códigos y etiquetas, que hayan evaluado a los mismos casos y que sean solo dos.
Preguntas frecuentes
¿El kappa sirve para la validez por jueces de mi instrumento?
No. Para jueces se usa otro coeficiente.
¿Qué significa un kappa negativo?
Que los evaluadores coinciden menos de lo que se esperaría por azar. Hay que revisar sus criterios.
¿Importa quién va en filas y quién en columnas?
No. El kappa sale igual. Lo que importa es que los dos usen los mismos códigos.
Dos personas que coinciden y SPSS no encuentra nada que medir. Escríbenos al WhatsApp y revisamos tu caso sin costo.
Escríbenos al WhatsApp