Esta guía es propia de ingeniería. Trata cómo comparar métodos o algoritmos con experimentos repetidos. En ciencias sociales, cómo presentar los resultados se explica en Qué se espera de los resultados.
Casi todo artículo de ingeniería termina en una comparación: tu solución frente a otras. Para que un revisor la acepte no basta una tabla de promedios. La diferencia debe comprobarse con una prueba estadística adecuada a cómo se hizo el experimento, y acompañarse de su tamaño (Demšar, 2006; Arcuri y Briand, 2011). Esta guía explica qué preparar antes de analizar: qué proyectos aplican, qué guardar mientras experimentas y cómo organizar los datos.
¿Tu proyecto se puede evaluar así?
Sí, si comparas tu método con al menos otro usando una métrica numérica.
| Tipo de proyecto | Métrica típica | ¿Aplica? |
|---|---|---|
| Clasificación o detección (intrusiones, fallas, imágenes) | Exactitud, F1, AUC | Sí |
| Predicción o regresión (demanda, consumo eléctrico) | Error (RMSE, MAE) | Sí |
| Optimización (rutas, horarios, asignación de recursos) | Costo, distancia, tiempo | Sí |
| Redes y sistemas (protocolos, arquitecturas) | Latencia, rendimiento, energía | Sí |
| Ingeniería de software (pruebas, refactorización) | Tiempo, defectos detectados, cobertura | Sí |
| Un prototipo sin otra solución con la cual compararlo | — | No: describe su desempeño y comprueba que cumple los requisitos |
| Encuesta de aceptación o satisfacción (TAM, UTAUT) | Puntajes de un cuestionario | No: usa la Validación de instrumentos |
| Experimento con factores físicos (temperatura, mezcla, carga) | Resistencia, rendimiento | No: es un diseño experimental clásico (ANOVA) |
Qué guardar mientras experimentas
- Cada repetición, no solo el promedio. Guarda el valor de cada corrida o fold. El promedio se calcula al final; sin los valores individuales no hay prueba posible.
- Las mismas condiciones para todos. Todos los métodos se prueban con los mismos conjuntos de datos, la misma métrica y el mismo presupuesto: tiempo, iteraciones y ajuste de hiperparámetros.
- Repeticiones suficientes. Si tu método tiene azar (semillas, inicialización aleatoria), haz al menos 30 corridas por método (Arcuri y Briand, 2011). Si comparas en varios conjuntos de datos, usa al menos 6: con 5 o menos, ninguna diferencia puede salir significativa. El número exacto lo calculas con el Cálculo de repeticiones.
- Cómo se obtuvo cada valor. Anota la semilla, la partición de los datos y la versión de cada método. Lo necesitarás para describir el método y para que otros puedan repetir tu evaluación.
Corridas o folds: la pregunta clave
La herramienta te pregunta qué son tus repeticiones, porque cada caso necesita una prueba distinta.
| Corridas independientes | Folds de validación cruzada | |
|---|---|---|
| Qué cambia entre repeticiones | La semilla del algoritmo | Qué parte de los datos se usa para probar |
| Ejemplo | Un algoritmo genético ejecutado 30 veces | Un modelo evaluado con validación cruzada de 10 folds |
| Qué deben compartir los métodos | El mismo problema | Exactamente los mismos folds |
| Prueba que se usa | U de Mann-Whitney | t corregida de Nadeau y Bengio |
Si comparas en varios conjuntos de datos, la unidad de comparación es el conjunto de datos: en cada uno se promedian las repeticiones y los métodos se comparan con las pruebas de Friedman y Wilcoxon (Demšar, 2006).
Cómo organizar tus datos
Usa una hoja de Excel con una de estas dos formas. La primera fila lleva los nombres de las columnas.
Formato ancho: un problema
| corrida | Propuesto | GA | ACO |
|---|---|---|---|
| 1 | 1242.5 | 1291.0 | 1268.3 |
| 2 | 1238.1 | 1302.7 | 1259.9 |
| 3 | 1251.0 | 1287.4 | 1272.6 |
| … | … | … | … |
Formato largo: varios conjuntos de datos
| dataset | corrida | metodo | metrica | valor |
|---|---|---|---|---|
| NSL-KDD | 1 | Propuesto | F1 | 0.921 |
| NSL-KDD | 1 | SVM | F1 | 0.848 |
| CTU-13 | 1 | Propuesto | F1 | 0.903 |
| … | … | … | … | … |
- Nombres de columnas. La herramienta reconoce, entre otros, método, conjunto o dataset, corrida, fold o semilla, métrica y valor, en español o en inglés.
- Números limpios. El decimal puede ir con punto o con coma. No combines celdas ni agregues filas de totales o promedios.
- Todo completo. Cada método necesita resultados en todos los conjuntos de datos, y sus nombres deben escribirse siempre igual.
Descarga las plantillas
Cada plantilla trae un ejemplo que puedes cargar tal cual en la herramienta para ver qué entrega, y una hoja de instrucciones.
- Un problema, varias corridas o foldsFormato ancho · Excel (.xlsx)
- Varios conjuntos de datosFormato largo · Excel (.xlsx)
Antes y después
| Versión débil | Problema | Versión mejorada |
|---|---|---|
| El método propuesto obtuvo 94.2 % de exactitud frente a 91.8 % de SVM. | Un promedio sin variabilidad ni prueba estadística | El método propuesto obtuvo F1 = 0.92 ± 0.01 en 30 corridas frente a 0.89 ± 0.02 de SVM (U de Mann-Whitney, p < 0.001, Â12 = 0.86). |
| Se comparó en 4 conjuntos de datos y se concluyó que el método es superior. | Con menos de 6 conjuntos de datos, la prueba de Wilcoxon nunca puede dar p < 0.05 | Usar al menos 6 conjuntos de datos (idealmente 10 o más) o presentar los resultados como descriptivos. |
| Los 10 folds se trataron como 10 muestras independientes con una prueba t común. | Los folds comparten datos: la prueba encuentra diferencias que no existen | Usar la prueba t corregida de Nadeau y Bengio (2003). |
| Los resultados de los otros métodos se copiaron de sus artículos originales. | Datos, particiones y equipos distintos: la comparación no es justa | Ejecutar todos los métodos en las mismas condiciones; si no es posible, declararlo como limitación. |
Lo que decide cada revista o conferencia. Algunas piden publicar el código y los datos para verificar los resultados, o evaluar en conjuntos de datos de referencia concretos. Revisa sus instrucciones para autores antes de diseñar tus experimentos.
Antes de cargar tus datos
- ¿Guardaste el valor de cada corrida o fold, no solo el promedio?
- ¿Todos los métodos tienen resultados en todos los conjuntos de datos, con la misma métrica?
- ¿Sabes si tus repeticiones son corridas independientes o folds de validación cruzada?
- ¿Tienes al menos 30 corridas, 10 folds o 6 conjuntos de datos?
- ¿La primera fila de tu hoja tiene los nombres de las columnas?
Con tus datos listos, la Evaluación experimental elige la prueba, calcula el tamaño del efecto y te entrega la tabla, la figura y el texto para tu artículo.
Referencias
Arcuri, A., & Briand, L. (2011). A practical guide for using statistical tests to assess randomized algorithms in software engineering. En Proceedings of the 33rd International Conference on Software Engineering (pp. 1–10). ACM. https://doi.org/10.1145/1985793.1985795
Demšar, J. (2006). Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research, 7, 1–30. https://jmlr.org/papers/v7/demsar06a.html
Nadeau, C., & Bengio, Y. (2003). Inference for the generalization error. Machine Learning, 52(3), 239–281. https://doi.org/10.1023/A:1024068626366