REBENCH: Un benchmark procedimental, justo por construcción para LLMs sobre tipos y nombres de binarios sin símbolos (Versión extendida)

La ingeniería inversa de binarios sin símbolos representa uno de los mayores desafíos en ciberseguridad moderna, especialmente cuando se aplican modelos de lenguaje de gran escala para recuperar nombres de funciones, tipos de variables o inferir estructuras. La ausencia de un estándar común para medir el rendimiento de estos modelos ha generado comparaciones inconsistentes y dificultado la confianza en los resultados. En este contexto surge REBench, un benchmark procedimental diseñado específicamente para evaluar LLMs en tareas de reverse engineering. Su propuesta se fundamenta en una metodología basada en el conocimiento de la pila a nivel de byte, lo que permite generar etiquetas de veracidad que preservan la complejidad real de los binarios sin introducir sesgos artificiales. Al consolidar múltiples conjuntos de datos existentes y abarcar distintas arquitecturas y niveles de optimización, REBench ofrece un marco de evaluación reproducible y justo por construcción.

Para las organizaciones que buscan integrar inteligencia artificial en procesos de análisis de seguridad, contar con un benchmark como REBench resulta crítico para validar soluciones antes de desplegarlas en entornos productivos. En Q2BSTUDIO desarrollamos aplicaciones a medida que incorporan agentes IA capaces de realizar reconocimiento de patrones en binarios, y desplegamos estas capacidades sobre infraestructuras cloud con servicios cloud aws y azure que garantizan escalabilidad y disponibilidad. Además, ofrecemos servicios de inteligencia de negocio que permiten visualizar, mediante power bi, las métricas de rendimiento de estos modelos, facilitando la toma de decisiones sobre cuándo un LLM está listo para tareas de auditoría de software.

La naturaleza justa de REBench, al evitar simplificaciones que podrían inflar los resultados, encaja perfectamente con la filosofía de calidad que aplicamos en nuestros proyectos de ia para empresas. Allí empleamos software a medida y entrenamos modelos con datos reales de binarios para mejorar la precisión en la recuperación de tipos y nombres. Esta alineación entre benchmarks objetivos y desarrollo práctico permite a nuestros clientes confiar en las capacidades de los sistemas que implementamos, ya sea en entornos on-premise o en la nube con servicios cloud aws y azure. La combinación de REBench con las herramientas de inteligencia artificial que construimos acelera la adopción de técnicas avanzadas de análisis sin comprometer la exactitud.