Evaluando la Reproducibilidad en la Computación Evolutiva: Un Estudio de Caso utilizando Evaluación basada en Humanos y LLM

El estudio de la reproducibilidad en la Computación Evolutiva es fundamental para garantizar la fiabilidad de los resultados obtenidos a través de experimentos computacionales. En este sentido, la documentación y el intercambio de algoritmos, protocolos experimentales y artefactos juegan un papel crucial. A pesar de la creciente conciencia sobre la importancia de la reproducibilidad, aún existe una limitada evidencia empírica sobre los niveles reales de reproducibilidad en trabajos publicados en este campo. En un análisis realizado durante un período de diez años en trabajos publicados en la conferencia de Genetic and Evolutionary Computation, se evaluaron las prácticas de reproducibilidad en el ámbito de la Optimización Combinatoria Evolutiva y las Metaheurísticas. Se introdujo una lista de verificación estructurada de reproducibilidad y se llevó a cabo una evaluación manual sistemática del corpus seleccionado. Además, se propuso RECAP (REproducibility Checklist Automation Pipeline), un sistema basado en LLM que evalúa automáticamente las señales de reproducibilidad en el texto de los documentos y en los repositorios de código asociados. Los resultados mostraron que los trabajos alcanzaron un puntaje promedio de completitud del 0.62, y que el 36.90% de ellos proporcionaron material adicional más allá del manuscrito. Asimismo, se demostró que la evaluación automatizada es factible, obteniendo un alto grado de acuerdo con evaluadores humanos (k de Cohen de 0.67). Estos hallazgos resaltan las brechas persistentes en el reporte de reproducibilidad y sugieren que las herramientas automatizadas pueden ser de gran apoyo en el monitoreo sistemático a gran escala de las prácticas de reproducibilidad. En este contexto, Q2BSTUDIO se posiciona como una empresa especializada en el desarrollo de software a medida y en la implementación de soluciones tecnológicas innovadoras. Con experiencia en inteligencia artificial, ciberseguridad, servicios cloud AWS y Azure, así como en servicios de inteligencia de negocio, Q2BSTUDIO se destaca por su capacidad para ofrecer soluciones personalizadas que se ajustan a las necesidades específicas de cada cliente. Para conocer más sobre cómo Q2BSTUDIO puede apoyar a tu empresa en la implementación de inteligencia artificial, te invitamos a visitar su sitio web: Inteligencia artificial para empresas.