CTIConnect: un benchmark para LLMs con recuperación en CTI

En el ámbito de la ciberseguridad moderna, la Inteligencia de Amenazas (CTI) se ha convertido en un pilar esencial para anticipar y neutralizar ataques. Sin embargo, el volumen masivo y la heterogeneidad de las fuentes de datos —desde bases de conocimiento estructuradas como CVE o MITRE ATT&CK hasta informes no estructurados— superan con creces la capacidad de análisis manual. En este contexto, los modelos de lenguaje de gran escala (LLMs) han despertado un gran interés, pero faltaban referencias objetivas para medir su eficacia en entornos reales de recuperación de información. El benchmark CTIConnect viene a cubrir ese vacío, proponiendo un marco de evaluación sistemática con más de 1.860 pares pregunta-respuesta validados por expertos, que abarcan tareas de enlazado de entidades, síntesis multidocumento y atribución de amenazas. Los resultados demuestran que la brecha semántica entre fuentes exige estrategias de recuperación muy distintas según la tarea, y que el rendimiento de los LLMs depende tanto de la infraestructura de búsqueda como de la capacidad de utilizar la evidencia recuperada. Esto tiene implicaciones directas para el diseño de arquitecturas escalables en ecosistemas CTI heterogéneos.

Para las empresas que buscan fortalecer su postura de seguridad, comprender estas dinámicas es clave. La combinación de inteligencia artificial y ciberseguridad permite automatizar la correlación de amenazas y reducir los tiempos de respuesta. En Q2BSTUDIO, ofrecemos soluciones avanzadas de ciberseguridad y pentesting que integran capacidades de IA para analizar patrones y detectar vulnerabilidades de forma proactiva. Además, desarrollamos sistemas de inteligencia artificial para empresas que potencian la toma de decisiones basada en datos, incluyendo agentes IA especializados en la gestión de incidentes. Nuestro enfoque combina software a medida y aplicaciones a medida con servicios cloud AWS y Azure para garantizar escalabilidad, y también ofrecemos servicios de inteligencia de negocio con Power BI para visualizar la inteligencia de amenazas en tiempo real. Así, ayudamos a las organizaciones a convertir grandes volúmenes de información en acciones concretas de defensa, alineándose con los hallazgos del benchmark CTIConnect sobre la importancia de una infraestructura de recuperación bien diseñada.