ExCyTIn-Bench: Evaluación de agentes LLM en la Investigación de Amenazas Cibernéticas

La creciente sofisticación de los ataques informáticos exige herramientas capaces de seguir cadenas de evidencia complejas a partir de registros heterogéneos. En este contexto, los agentes basados en inteligencia artificial se perfilan como un recurso clave para automatizar la investigación de incidentes, pero su evaluación requiere benchmarks robustos que midan su capacidad de razonamiento multi-salto. Un ejemplo reciente es el entorno ExCyTIn-Bench, que emplea grafos de investigación generados desde logs reales de Microsoft Sentinel para proponer preguntas que obligan al modelo a conectar eventos aparentemente inconexos. Este tipo de pruebas revela que incluso los mejores agentes IA alcanzan apenas un 60,6% de efectividad, lo que evidencia un amplio margen de mejora en la industria. Desde la perspectiva empresarial, integrar soluciones de ia para empresas con plataformas cloud como AWS o Azure permite construir sistemas que no solo detecten amenazas, sino que también las investiguen de forma autónoma, reduciendo la carga sobre los equipos de seguridad. En Q2BSTUDIO, como empresa de desarrollo de software, combinamos nuestra experiencia en aplicaciones a medida con servicios de ciberseguridad y servicios cloud aws y azure para diseñar arquitecturas que incorporen agentes IA especializados en threat hunting. Además, la integración de servicios inteligencia de negocio como Power BI facilita la visualización de los patrones que estos agentes descubren durante la investigación, transformando datos técnicos en información accionable para la toma de decisiones. La evolución de estos benchmarks apunta a que el software a medida para ciberseguridad debe incluir módulos de razonamiento causal y aprendizaje continuo, donde la inteligencia artificial para empresas no solo responde preguntas, sino que reconstruye la secuencia completa de un ataque. En definitiva, la madurez de los agentes IA en la investigación de amenazas dependerá de la calidad de los entornos de prueba y de la capacidad de las compañías para implementar soluciones que unan big data, cloud y modelos de lenguaje de última generación.