El juicio de expertos aporta la evidencia de validez basada en el contenido: antes de aplicar el instrumento, personas con experiencia en el tema valoran si cada ítem mide lo que debe medir, si se entiende y si es adecuado para la población (American Educational Research Association et al., 2014). Se espera siempre que construyas un instrumento o que adaptes uno a otra población o a otro idioma. No reemplaza al análisis factorial: lo antecede.
El recorrido
- Define la variable y sus dimensionesCon una definición conceptual de cada una: es lo que el juez usa para decidir si un ítem pertenece ahí.
- Elige a los juecesPersonas con experiencia en el tema, en la población o en medición, que no hayan redactado los ítems.
- Clasificación a ciegasCada juez ubica cada ítem en la dimensión que cree que mide, sin ver cuál es la prevista.
- CalificaciónPertinencia, claridad y adecuación cultural de 1 a 4, con comentarios y redacciones alternativas.
- CoberturaSi a alguna dimensión le falta un aspecto importante.
- Análisis y decisiónV de Aiken con su intervalo por ítem y criterio; los ítems que no cumplen se revisan.
- ReporteEl procedimiento, los jueces, los valores y qué cambiaste.
Qué califica cada juez
| Criterio | Pregunta al juez |
|---|---|
| Pertinencia | ¿El ítem mide la dimensión prevista? |
| Claridad | ¿Se entiende sin ambigüedad a la primera lectura? |
| Adecuación cultural | ¿El lenguaje y la situación son propios de la población a la que va dirigido? |
Cada criterio se califica de 1 (no cumple) a 4 (cumple totalmente). La clasificación a ciegas responde a otra pregunta: si un ítem «parece» de otra dimensión. Cuando el juez ya sabe dónde va el ítem, tiende a darle la razón al autor; a ciegas, un ítem que la mayoría ubica en otra dimensión queda a la vista.
Cómo se decide: la V de Aiken y su intervalo
La V de Aiken resume el acuerdo de los jueces en un valor de 0 a 1: V = (x̄ − l) / k, donde x̄ es la media de las calificaciones, l el valor más bajo de la escala y k la diferencia entre el más alto y el más bajo (Aiken, 1985). Con la escala de 1 a 4, una V de 1 significa que todos dieron 4.
El valor solo no basta, porque con pocos jueces varía mucho. Se calcula su intervalo de confianza al 95 % (Penfield y Giacobbi, 2004) y se exige que el límite inferior llegue al criterio: .70 en la versión conservadora o .50 en la liberal (Merino y Livia, 2009). Un ítem cumple cuando lo logra en los tres criterios.
¿Cuántos jueces?
El número de jueces decide cuánto desacuerdo admite el criterio. La tabla muestra cuántos puntos por debajo de 4 puede recibir un ítem en un criterio, sumando a todos los jueces, y aun así cumplir.
| Jueces | Con el criterio .70 | Con el criterio .50 |
|---|---|---|
| 2 | Nunca se alcanza | Ninguno |
| 3 | Ninguno: todos deben dar 4 | 1 |
| 4 | Ninguno: todos deben dar 4 | 2 |
| 5 | 1 | 3 |
| 6 | 1 | 4 |
| 7 | 2 | 6 |
| 8 | 2 | 7 |
| 10 | 4 | 9 |
Con tres o cuatro jueces y el criterio .70, basta un 3 para que el ítem no cumpla. Por eso conviene contar con al menos cinco, y con siete o más si puedes conseguirlos. Los valores se calcularon con la escala de 1 a 4 y el intervalo al 95 %.
Un ítem que no cumple no se borra sin más. Lee los comentarios y las redacciones que propusieron los jueces: muchas veces el problema es de claridad y se resuelve reescribiéndolo. Si cambias ítems a fondo, conviene una segunda ronda con los mismos jueces.
Qué reportar
| Aspecto | Qué reportar |
|---|---|
| Jueces | Cuántos participaron, su formación y sus años de experiencia |
| Procedimiento | Cómo y cuándo se hizo, si hubo clasificación a ciegas, los criterios y la escala |
| Análisis | V de Aiken con su intervalo al 95 % y el criterio para el límite inferior |
| Resultados | Cuántos ítems cumplieron, la V media por criterio, el acuerdo en la clasificación a ciegas y qué ítems se revisaron |
| Cambios | Qué ítems se reescribieron o eliminaron y por qué |
Antes de darlo por terminado
- ¿Cada dimensión tiene una definición que el juez pueda usar para decidir?
- ¿Tienes al menos cinco jueces y describes su perfil?
- ¿Usas el límite inferior del intervalo, y no solo el valor de la V, para decidir?
- ¿Los ítems que no cumplieron se revisaron con los comentarios de los jueces?
- ¿Reportas qué cambiaste después del juicio?
Hazlo en línea con Validación por jueces, en tu Research Tracker: armas la variable, sus dimensiones y los ítems; invitas a los jueces por correo o con un enlace; ves quién ya respondió y, cuando completas los jueces que fijaste, descargas el reporte en PDF, una constancia por juez, el Excel y el texto para tu método. Después, cuando tengas los datos, pon a prueba la estructura con Validación de instrumentos.
Referencias
Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45(1), 131–142. https://doi.org/10.1177/0013164485451012
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
Merino Soto, C., & Livia Segovia, J. (2009). Intervalos de confianza asimétricos para el índice de validez de contenido: Un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169–171.
Penfield, R. D., & Giacobbi, P. R., Jr. (2004). Applying a score confidence interval to Aiken's item content-relevance index. Measurement in Physical Education and Exercise Science, 8(4), 213–225.
Esta guía es propia de las ciencias sociales. Trata la validación de cuestionarios y escalas. En ingeniería, la evaluación de una solución se explica en Qué se espera del método.