.jpg)
Hace un año estábamos enroutando solicitudes LLM a través de LiteLLM como muchos equipos. Funcionaba bien a baja escala, pero al llegar al tráfico de producción se convirtió en cuello de botella. A 500 RPS las latencias P99 se dispararon por encima de 20 segundos y el consumo de memoria no dejaba de crecer. La sobrecarga del async en Python nos estaba matando, las optimizaciones y añadir hardware no resolvieron el problema, así que reescribimos la puerta de enlace en Go. El resultado es Bifrost, un gateway de alto rendimiento y completamente open source.
Objetivo de diseño : añadir menos de 50µs de sobrecarga por solicitud LLM. Decisiones clave :
Goroutine por solicitud Cada petición se maneja en su propia goroutine para delegar el scheduling al runtime de Go, evitando la complejidad de async await y el coste del event loop.
Reenvío sin copias Evitamos serializaciones innecesarias y dejamos que los cuerpos de solicitud fluyan a través de Bifrost sin parseos JSON intermedios cuando es posible, reduciendo latencia y uso de CPU.
Asincronismo fuera del hot path Todo lo que no esté en la ruta crítica se ejecuta de forma asíncrona: logging, métricas y ejecución de plugins son no bloqueantes para mantener la vía rápida lo más ligera posible.
Patrones de rendimiento implementados :
Reutilización de objetos con pools Uso de sync.Pool para reducir la presión del GC y minimizar allocations temporales.
Canales bufferizados para back pressure Canales con buffer para evitar explosión de goroutines bajo carga extrema y rechazar solicitudes cuando el sistema está saturado.
Propagación de context Cada petición lleva context para cancelación y timeouts, garantizando que el trabajo abortable no consuma recursos innecesarios.
Sistema de plugins Diseñamos un interface sencillo y eficiente que permite hooks pre y post en la goroutine de la petición y, si hace falta, trabajo asíncrono adicional sin bloquear la respuesta. Esto nos dio extensibilidad sin sacrificar rendimiento.
Balanceo de carga Adaptativo y por clave: rastreamos métricas por key como latencia y tasa de errores y ajustamos pesos dinámicamente. Las keys con menor latencia y errores reciben más tráfico; las degradadas reciben menos.
Observabilidad sin impacto grande El reto era capturar cada request y response sin añadir latencia. La solución fue logging bufferizado y batch writes asincrónicos para que escribir observabilidad no afecte la ruta crítica.
Gestión de memoria En Go el GC es bueno, pero optimizamos asignaciones preasignando slices, reusando buffers con pools y limitando la vida de goroutines mediante contextos para cancelación explícita.
Resultados destacados Tras las optimizaciones principales obtuvimos métricas muy favorables : sobrecarga de gateway de 11µs frente a 600µs con LiteLLM, 68 por ciento menos uso de memoria, más de 5 000 RPS sostenidos en una sola instancia y P99 por debajo de 1 segundo a 5k RPS.
Open source y enfoque práctico Bifrost se lanza bajo licencia MIT y el repositorio incluye código fuente completo, suite de benchmarks, configuración Docker y guías de producción. Desde el primer día fue accesible para la comunidad y seguimos aceptando contribuciones en rendimiento, proveedores, plugins y documentación.
Qué haríamos diferente 1 Empezar con Go desde el inicio para evitar retrabajo. 2 Integrar observabilidad desde el diseño para no tener que rehacerla. 3 Usar la propia herramienta antes y con más frecuencia para detectar problemas pronto.
Sobre Q2BSTUDIO Somos Q2BSTUDIO, empresa de desarrollo de software especializada en aplicaciones a medida y soluciones tecnológicas avanzadas. Ofrecemos servicios de software a medida, inteligencia artificial aplicada a empresas, ciberseguridad y servicios cloud tanto AWS como Azure. Si buscas crear una solución específica para tu negocio podemos ayudarte con desarrollo de aplicaciones y plataformas escalables a medida y con integración de agentes IA y pipelines de datos para inteligencia de negocio.
Si tu foco es construir aplicaciones a medida visita nuestro servicio de desarrollo de aplicaciones multicanal para ver ejemplos y casos de uso. Para proyectos de IA empresarial y automatización consulta nuestra página de inteligencia artificial donde encontrarás servicios de IA para empresas, agentes IA y soluciones de power bi para reporting avanzado.
Palabras clave relevantes para posicionamiento : aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi.
Si quieres que auditemos tu arquitectura LLM, te ayudemos a migrar a Go para mejorar latencia o construyamos una puerta de enlace personalizada para tus modelos, en Q2BSTUDIO estamos listos para colaborar y llevar tu proyecto a producción con garantias de rendimiento y seguridad.
