Blog5 · Resultados

Cómo comparar tu método con otros

Antes de afirmar que tu solución es mejor necesitas resultados que se puedan comparar. Qué proyectos aplican, qué guardar mientras experimentas y cómo organizar los datos, con plantillas.

Ciencias socialesIngeniería

Esta guía es propia de ingeniería. Trata cómo comparar métodos o algoritmos con experimentos repetidos. En ciencias sociales, cómo presentar los resultados se explica en Qué se espera de los resultados.

Casi todo artículo de ingeniería termina en una comparación: tu solución frente a otras. Para que un revisor la acepte no basta una tabla de promedios. La diferencia debe comprobarse con una prueba estadística adecuada a cómo se hizo el experimento, y acompañarse de su tamaño (Demšar, 2006; Arcuri y Briand, 2011). Esta guía explica qué preparar antes de analizar: qué proyectos aplican, qué guardar mientras experimentas y cómo organizar los datos.

¿Tu proyecto se puede evaluar así?

Sí, si comparas tu método con al menos otro usando una métrica numérica.

Tipo de proyectoMétrica típica¿Aplica?
Clasificación o detección (intrusiones, fallas, imágenes)Exactitud, F1, AUCSí
Predicción o regresión (demanda, consumo eléctrico)Error (RMSE, MAE)Sí
Optimización (rutas, horarios, asignación de recursos)Costo, distancia, tiempoSí
Redes y sistemas (protocolos, arquitecturas)Latencia, rendimiento, energíaSí
Ingeniería de software (pruebas, refactorización)Tiempo, defectos detectados, coberturaSí
Un prototipo sin otra solución con la cual compararlo—No: describe su desempeño y comprueba que cumple los requisitos
Encuesta de aceptación o satisfacción (TAM, UTAUT)Puntajes de un cuestionarioNo: usa la Validación de instrumentos
Experimento con factores físicos (temperatura, mezcla, carga)Resistencia, rendimientoNo: es un diseño experimental clásico (ANOVA)

Qué guardar mientras experimentas

  • Cada repetición, no solo el promedio. Guarda el valor de cada corrida o fold. El promedio se calcula al final; sin los valores individuales no hay prueba posible.
  • Las mismas condiciones para todos. Todos los métodos se prueban con los mismos conjuntos de datos, la misma métrica y el mismo presupuesto: tiempo, iteraciones y ajuste de hiperparámetros.
  • Repeticiones suficientes. Si tu método tiene azar (semillas, inicialización aleatoria), haz al menos 30 corridas por método (Arcuri y Briand, 2011). Si comparas en varios conjuntos de datos, usa al menos 6: con 5 o menos, ninguna diferencia puede salir significativa. El número exacto lo calculas con el Cálculo de repeticiones.
  • Cómo se obtuvo cada valor. Anota la semilla, la partición de los datos y la versión de cada método. Lo necesitarás para describir el método y para que otros puedan repetir tu evaluación.

Corridas o folds: la pregunta clave

La herramienta te pregunta qué son tus repeticiones, porque cada caso necesita una prueba distinta.

Corridas independientesFolds de validación cruzada
Qué cambia entre repeticionesLa semilla del algoritmoQué parte de los datos se usa para probar
EjemploUn algoritmo genético ejecutado 30 vecesUn modelo evaluado con validación cruzada de 10 folds
Qué deben compartir los métodosEl mismo problemaExactamente los mismos folds
Prueba que se usaU de Mann-Whitneyt corregida de Nadeau y Bengio

Si comparas en varios conjuntos de datos, la unidad de comparación es el conjunto de datos: en cada uno se promedian las repeticiones y los métodos se comparan con las pruebas de Friedman y Wilcoxon (Demšar, 2006).

Cómo organizar tus datos

Usa una hoja de Excel con una de estas dos formas. La primera fila lleva los nombres de las columnas.

Formato ancho: un problema

corridaPropuestoGAACO
11242.51291.01268.3
21238.11302.71259.9
31251.01287.41272.6
…………

Formato largo: varios conjuntos de datos

datasetcorridametodometricavalor
NSL-KDD1PropuestoF10.921
NSL-KDD1SVMF10.848
CTU-131PropuestoF10.903
……………
En el formato ancho cada método es una columna y cada fila una corrida o fold. En el formato largo cada fila es un resultado; sirve para varios conjuntos de datos y para guardar varias métricas.
  • Nombres de columnas. La herramienta reconoce, entre otros, método, conjunto o dataset, corrida, fold o semilla, métrica y valor, en español o en inglés.
  • Números limpios. El decimal puede ir con punto o con coma. No combines celdas ni agregues filas de totales o promedios.
  • Todo completo. Cada método necesita resultados en todos los conjuntos de datos, y sus nombres deben escribirse siempre igual.

Descarga las plantillas

Cada plantilla trae un ejemplo que puedes cargar tal cual en la herramienta para ver qué entrega, y una hoja de instrucciones.

Antes y después

Versión débilProblemaVersión mejorada
El método propuesto obtuvo 94.2 % de exactitud frente a 91.8 % de SVM.Un promedio sin variabilidad ni prueba estadísticaEl método propuesto obtuvo F1 = 0.92 ± 0.01 en 30 corridas frente a 0.89 ± 0.02 de SVM (U de Mann-Whitney, p < 0.001, Â12 = 0.86).
Se comparó en 4 conjuntos de datos y se concluyó que el método es superior.Con menos de 6 conjuntos de datos, la prueba de Wilcoxon nunca puede dar p < 0.05Usar al menos 6 conjuntos de datos (idealmente 10 o más) o presentar los resultados como descriptivos.
Los 10 folds se trataron como 10 muestras independientes con una prueba t común.Los folds comparten datos: la prueba encuentra diferencias que no existenUsar la prueba t corregida de Nadeau y Bengio (2003).
Los resultados de los otros métodos se copiaron de sus artículos originales.Datos, particiones y equipos distintos: la comparación no es justaEjecutar todos los métodos en las mismas condiciones; si no es posible, declararlo como limitación.

Lo que decide cada revista o conferencia. Algunas piden publicar el código y los datos para verificar los resultados, o evaluar en conjuntos de datos de referencia concretos. Revisa sus instrucciones para autores antes de diseñar tus experimentos.

Antes de cargar tus datos

  • ¿Guardaste el valor de cada corrida o fold, no solo el promedio?
  • ¿Todos los métodos tienen resultados en todos los conjuntos de datos, con la misma métrica?
  • ¿Sabes si tus repeticiones son corridas independientes o folds de validación cruzada?
  • ¿Tienes al menos 30 corridas, 10 folds o 6 conjuntos de datos?
  • ¿La primera fila de tu hoja tiene los nombres de las columnas?

Con tus datos listos, la Evaluación experimental elige la prueba, calcula el tamaño del efecto y te entrega la tabla, la figura y el texto para tu artículo.

Referencias

Arcuri, A., & Briand, L. (2011). A practical guide for using statistical tests to assess randomized algorithms in software engineering. En Proceedings of the 33rd International Conference on Software Engineering (pp. 1–10). ACM. https://doi.org/10.1145/1985793.1985795

Demšar, J. (2006). Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research, 7, 1–30. https://jmlr.org/papers/v7/demsar06a.html

Nadeau, C., & Bengio, Y. (2003). Inference for the generalization error. Machine Learning, 52(3), 239–281. https://doi.org/10.1023/A:1024068626366

Comparte esta guía

Cómo citar este documento

AtheneaLab. (2026, 14 de noviembre). Cómo comparar tu método con otros. Blog de AtheneaLab. https://athenealab.com/blog/como-comparar-tu-metodo-con-otros/