Inferecia de AI escalable y segura en salud: una comparativa de rendimiento de FastAPI y Triton Inference Server en Kubernetes

El despliegue eficiente y escalable de modelos de aprendizaje automático es esencial para entornos de producción modernos, especialmente en sectores regulados como la salud y la farmacéutica. En estos entornos, los sistemas deben equilibrar requisitos competitivos, como minimizar la latencia de inferencia para el soporte de decisiones clínicas en tiempo real, maximizar el rendimiento para el procesamiento por lotes de registros médicos y garantizar estricta conformidad con normas de privacidad de datos como HIPAA. En un estudio comparativo riguroso, se evaluaron dos paradigmas de despliegue destacados: un servicio REST ligero basado en Python utilizando FastAPI y un motor de servir especializado de alto rendimiento, el NVIDIA Triton Inference Server. Utilizando una arquitectura de referencia para inteligencia artificial en salud, se desplegó un modelo de análisis de sentimientos DistilBERT en Kubernetes para medir la latencia mediana (p50) y la latencia de cola (p95), así como el rendimiento, en condiciones experimentales controladas. Los resultados indican un claro compromiso. Mientras que FastAPI ofrece menor sobrecarga para cargas de trabajo de una sola solicitud con una latencia p50 de 22 ms, Triton logra una escalabilidad superior a través del agrupamiento dinámico, brindando un rendimiento de 780 solicitudes por segundo en una sola GPU NVIDIA T4, casi el doble que el valor base. Además, se evaluó un enfoque arquitectónico híbrido que utiliza FastAPI como puerta de enlace segura para la desidentificación de información de salud protegida y Triton para la inferencia en el backend. Este estudio valida el modelo híbrido como una mejor práctica para la inteligencia artificial clínica empresarial y ofrece un plan para despliegues seguros de alta disponibilidad. Para empresas interesadas en impulsar su IA clínica, servicios como los de Q2BSTUDIO en desarrollo de software a medida, ciberseguridad y servicios cloud AWS y Azure pueden ser fundamentales. Además, la implementación de agentes de IA y servicios de inteligencia de negocio, como Power BI, puede potenciar aún más las capacidades empresariales en este ámbito.