Cálculo de muestra

Cálculo de repeticiones

Calcula cuántas corridas, repeticiones de la validación cruzada, conjuntos de datos o usuarios necesita tu experimento de ingeniería para detectar la diferencia que te importa.

¿Qué quieres calcular?
¿Cómo conoces el tamaño de la diferencia?

En las unidades de tu métrica (por ejemplo, 2 puntos de F1, 15 ms o 20 km).

En las mismas unidades que la diferencia.

0.2, 0.5 y 0.8 son efectos pequeño, mediano y grande (Cohen, 1988).

Lo habitual es 5 o 10.

Con más de dos, el cálculo corrige α por el número de comparaciones de tu método con los demás.

Lo habitual es 0.05.

Probabilidad de detectar la diferencia si existe. Lo habitual es 0.80.

Proporción promedio. 0.31 es el valor que encontraron Nielsen y Landauer (1993).

Entre 1 y 99 %.

Resultado

—

¿Cómo se calcula?

Todos los cálculos buscan el menor número que alcanza la potencia deseada, con distribuciones t no centrales como en G*Power (Faul et al., 2007):

  • Corridas: U de Mann-Whitney con el método de eficiencia relativa asintótica (Lehmann, 1975), que ajusta la t de dos grupos por 3/π. Â12 se convierte en d con d = √2·Φ⁻¹(Â12) (Vargha y Delaney, 2000).
  • Validación cruzada: t corregida de Nadeau y Bengio (2003), en la que la varianza se multiplica por (1/J + 1/(k − 1)), con J folds en total. Por eso la potencia tiene un techo aunque se repita muchas veces.
  • Conjuntos de datos: rangos con signo de Wilcoxon (Demšar, 2006) con el método de eficiencia relativa asintótica. También se exige el mínimo con el que la prueba exacta puede dar un resultado significativo.
  • Usuarios: t pareada o de grupos independientes (Cohen, 1988) para comparar versiones; para encontrar problemas, n = ln(1 − meta) / ln(1 − p) (Nielsen y Landauer, 1993).

Si comparas tu método con varios, α se divide entre el número de comparaciones (Bonferroni). Es una planificación conservadora: el análisis con la corrección de Holm, como hace la Evaluación experimental, es igual o más potente.

Referencias

Arcuri, A., & Briand, L. (2011). A practical guide for using statistical tests to assess randomized algorithms in software engineering. En Proceedings of the 33rd International Conference on Software Engineering (pp. 1–10). ACM. https://doi.org/10.1145/1985793.1985795

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates.

Demšar, J. (2006). Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research, 7, 1–30.

Faul, F., Erdfelder, E., Lang, A.-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39(2), 175–191. https://doi.org/10.3758/BF03193146

Lehmann, E. L. (1975). Nonparametrics: Statistical methods based on ranks. Holden-Day.

Nadeau, C., & Bengio, Y. (2003). Inference for the generalization error. Machine Learning, 52(3), 239–281. https://doi.org/10.1023/A:1024068626366

Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. En Proceedings of the INTERACT '93 and CHI '93 Conference on Human Factors in Computing Systems (pp. 206–213). ACM. https://doi.org/10.1145/169059.169166

Vargha, A., & Delaney, H. D. (2000). A critique and improvement of the CL common language effect size statistics of McGraw and Wong. Journal of Educational and Behavioral Statistics, 25(2), 101–132. https://doi.org/10.3102/10769986025002101

Cómo citar esta herramienta

AtheneaLab. (2026). Cálculo de repeticiones [Aplicación web]. https://athenealab.com/calculo-muestra/repeticiones/

¿Quieres saber más? Escríbenos a [email protected]