Blog4 · Métodos

Cómo hacer un juicio de expertos

Antes de aplicar tu instrumento, jueces expertos valoran si cada ítem mide lo que debe. Qué califican, cómo se decide con la V de Aiken, cuántos jueces necesitas y qué reportar.

Ciencias socialesIngeniería

El juicio de expertos aporta la evidencia de validez basada en el contenido: antes de aplicar el instrumento, personas con experiencia en el tema valoran si cada ítem mide lo que debe medir, si se entiende y si es adecuado para la población (American Educational Research Association et al., 2014). Se espera siempre que construyas un instrumento o que adaptes uno a otra población o a otro idioma. No reemplaza al análisis factorial: lo antecede.

El recorrido

  1. Define la variable y sus dimensionesCon una definición conceptual de cada una: es lo que el juez usa para decidir si un ítem pertenece ahí.
  2. Elige a los juecesPersonas con experiencia en el tema, en la población o en medición, que no hayan redactado los ítems.
  3. Clasificación a ciegasCada juez ubica cada ítem en la dimensión que cree que mide, sin ver cuál es la prevista.
  4. CalificaciónPertinencia, claridad y adecuación cultural de 1 a 4, con comentarios y redacciones alternativas.
  5. CoberturaSi a alguna dimensión le falta un aspecto importante.
  6. Análisis y decisiónV de Aiken con su intervalo por ítem y criterio; los ítems que no cumplen se revisan.
  7. ReporteEl procedimiento, los jueces, los valores y qué cambiaste.
La secuencia de un juicio de expertos. La clasificación a ciegas va antes de la calificación para que el juez no se deje llevar por la dimensión prevista.

Qué califica cada juez

CriterioPregunta al juez
Pertinencia¿El ítem mide la dimensión prevista?
Claridad¿Se entiende sin ambigüedad a la primera lectura?
Adecuación cultural¿El lenguaje y la situación son propios de la población a la que va dirigido?

Cada criterio se califica de 1 (no cumple) a 4 (cumple totalmente). La clasificación a ciegas responde a otra pregunta: si un ítem «parece» de otra dimensión. Cuando el juez ya sabe dónde va el ítem, tiende a darle la razón al autor; a ciegas, un ítem que la mayoría ubica en otra dimensión queda a la vista.

Cómo se decide: la V de Aiken y su intervalo

La V de Aiken resume el acuerdo de los jueces en un valor de 0 a 1: V = (x̄ − l) / k, donde x̄ es la media de las calificaciones, l el valor más bajo de la escala y k la diferencia entre el más alto y el más bajo (Aiken, 1985). Con la escala de 1 a 4, una V de 1 significa que todos dieron 4.

El valor solo no basta, porque con pocos jueces varía mucho. Se calcula su intervalo de confianza al 95 % (Penfield y Giacobbi, 2004) y se exige que el límite inferior llegue al criterio: .70 en la versión conservadora o .50 en la liberal (Merino y Livia, 2009). Un ítem cumple cuando lo logra en los tres criterios.

¿Cuántos jueces?

El número de jueces decide cuánto desacuerdo admite el criterio. La tabla muestra cuántos puntos por debajo de 4 puede recibir un ítem en un criterio, sumando a todos los jueces, y aun así cumplir.

JuecesCon el criterio .70Con el criterio .50
2Nunca se alcanzaNinguno
3Ninguno: todos deben dar 41
4Ninguno: todos deben dar 42
513
614
726
827
1049

Con tres o cuatro jueces y el criterio .70, basta un 3 para que el ítem no cumpla. Por eso conviene contar con al menos cinco, y con siete o más si puedes conseguirlos. Los valores se calcularon con la escala de 1 a 4 y el intervalo al 95 %.

Un ítem que no cumple no se borra sin más. Lee los comentarios y las redacciones que propusieron los jueces: muchas veces el problema es de claridad y se resuelve reescribiéndolo. Si cambias ítems a fondo, conviene una segunda ronda con los mismos jueces.

Qué reportar

AspectoQué reportar
JuecesCuántos participaron, su formación y sus años de experiencia
ProcedimientoCómo y cuándo se hizo, si hubo clasificación a ciegas, los criterios y la escala
AnálisisV de Aiken con su intervalo al 95 % y el criterio para el límite inferior
ResultadosCuántos ítems cumplieron, la V media por criterio, el acuerdo en la clasificación a ciegas y qué ítems se revisaron
CambiosQué ítems se reescribieron o eliminaron y por qué

Antes de darlo por terminado

  • ¿Cada dimensión tiene una definición que el juez pueda usar para decidir?
  • ¿Tienes al menos cinco jueces y describes su perfil?
  • ¿Usas el límite inferior del intervalo, y no solo el valor de la V, para decidir?
  • ¿Los ítems que no cumplieron se revisaron con los comentarios de los jueces?
  • ¿Reportas qué cambiaste después del juicio?

Hazlo en línea con Validación por jueces, en tu Research Tracker: armas la variable, sus dimensiones y los ítems; invitas a los jueces por correo o con un enlace; ves quién ya respondió y, cuando completas los jueces que fijaste, descargas el reporte en PDF, una constancia por juez, el Excel y el texto para tu método. Después, cuando tengas los datos, pon a prueba la estructura con Validación de instrumentos.

Referencias

Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45(1), 131–142. https://doi.org/10.1177/0013164485451012

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.

Merino Soto, C., & Livia Segovia, J. (2009). Intervalos de confianza asimétricos para el índice de validez de contenido: Un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169–171.

Penfield, R. D., & Giacobbi, P. R., Jr. (2004). Applying a score confidence interval to Aiken's item content-relevance index. Measurement in Physical Education and Exercise Science, 8(4), 213–225.

Esta guía es propia de las ciencias sociales. Trata la validación de cuestionarios y escalas. En ingeniería, la evaluación de una solución se explica en Qué se espera del método.

Comparte esta guía

Cómo citar este documento

AtheneaLab. (2026, 16 de noviembre). Cómo hacer un juicio de expertos. Blog de AtheneaLab. https://athenealab.com/blog/como-hacer-un-juicio-de-expertos/