Los Large Language Models (LLMs) y los sistemas Retrieval-Augmented Generation (RAG) están cada vez más integrados en los flujos de trabajo clínicos. Sin embargo, los ataques de inyección de comandos pueden dirigir estos sistemas hacia salidas clínicamente inseguras o engañosas. Es por ello que se ha introducido el Medical Prompt Injection Benchmark (MPIB), un conjunto de datos y benchmark para evaluar la seguridad clínica tanto en inyecciones directas de comandos como en inyecciones indirectas mediadas por RAG en tareas clínicamente fundamentadas.
El MPIB pone énfasis en el nivel de riesgo del resultado a través de la Tasa de Eventos de Daño Clínico (CHER), que mide eventos de daño clínico de alta gravedad bajo una taxonomía clínicamente fundamentada. Además, informa sobre CHER junto con la Tasa de Éxito del Ataque (ASR) para separar el cumplimiento de instrucciones del riesgo para el paciente. Este benchmark consta de 9,697 instancias curadas construidas a través de puertas de calidad de múltiples etapas y verificaciones de seguridad clínica.
Al evaluar el MPIB en una amplia variedad de LLMs base y configuraciones de defensa, se ha encontrado que ASR y CHER pueden divergir sustancialmente, y que la robustez depende críticamente de si las instrucciones adversas aparecen en la consulta del usuario o en el contexto recuperado.
En Q2BSTUDIO, ofrecemos servicios de desarrollo de aplicaciones a medida, incluyendo integración de inteligencia artificial y seguridad cibernética para garantizar la protección de los datos sensibles de nuestros clientes. Además, también brindamos servicios de inteligencia de negocio y asesoramiento en el uso de herramientas como Power BI para mejorar la toma de decisiones en las empresas.
Si estás buscando potenciar tu empresa con soluciones tecnológicas a medida, te invitamos a visitar nuestra página sobre desarrollo de aplicaciones a medida o contactarnos para más información sobre nuestros servicios de ciberseguridad, inteligencia artificial y mucho más.
.jpg)