Construyendo un optimizador de costos de IA (enrutamiento + almacenamiento en caché + SDK de VSCode). Buscando retroalimentación.

Soy Zach y llevo tiempo desarrollando funcionalidades con modelos de lenguaje. Cada vez que despliego algo con LLM aparecen los mismos problemas: facturas de IA que se disparan sin claridad sobre qué modelo está consumiendo más, por qué un prompt ha llegado a costar 10 veces más, si una salida es redundante con otra ya generada o si una petición necesita realmente GPT-4 o puede bastar Claude o Groq. Además está el problema del desperdicio de tokens, que llamo AI Slop, que incluye respuestas excesivamente largas, secciones repetidas, razonamientos redundantes o relleno alucinatorio que no aportan valor y sí inflan el coste.

Para enfrentarlo construí una herramienta ligera que ahora es un producto real: PricePrompter Cloud. Es un proxy y conjunto de herramientas para desarrolladores que optimiza costes de IA, reduce el desperdicio de tokens y previene AI Slop sin que tengas que cambiar tu código. Mantienes tus llamadas actuales a OpenAI o Anthropic y nosotros gestionamos la capa de optimización tras bambalinas.

Principales funcionalidades: Smart Routing un motor UCG que enruta cada petición al modelo más económico que cumpla tus requisitos de calidad. Por ejemplo enviar a GPT-4 cuando sea imprescindible, a Claude Sonnet si es equivalente o Groq si es más barato y rápido. Todo sin modificar tu código y con avisos de coste si decides seguir en tu modelo preferido.

Almacenamiento semántico gratuito guardamos y reconocemos peticiones semánticamente similares y devolvemos resultados cacheados cuando es seguro. Ofrecemos observabilidad real con métricas de aciertos de caché, fallos, porcentaje de coincidencia y ahorro total. La caché semántica siempre será gratuita.

Mecanismo de prevención de AI Slop detectamos respuestas demasiado largas, secciones repetidas, cadenas de razonamiento innecesarias, inflación de tokens y relleno alucinatorio. Antes de que la petición impacte en tu facturación, recortamos, limitamos o guiamos al LLM para reducir tokens desperdiciados. Piensa en ello como un lint para llamadas a LLM.

Herramientas para desarrolladores ofrecemos una extensión de VS Code y un SDK estilo cursor con información en tiempo real por petición: coste live, sugerencias de modelos alternativas, desglose de tokens, explicación de porqué una petición fue cara y logs de enrutamiento. Analytics y control en el editor para evitar abrir dashboards salvo que quieras profundizar.

Gobernanza para equipos controles prácticos para equipos en crecimiento como límites de gasto, permisos a nivel de modelo, aprobaciones para peticiones de alto coste, enmascarado de PII, rotación de claves, logs de auditoría y reportes por equipo. Nada excesivamente empresarial, solo lo necesario para equipos de desarrollo.

Quién se beneficia desarrolladores que construyen features con LLM, equipos SaaS que usan modelos caros, startups con facturas impredecibles, agencias multi cliente, y cualquiera experimentando con enrutamiento multi modelo o que quiera visibilidad real del uso de tokens y poner freno al AI Slop.

En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad, servicios cloud aws y azure y servicios de inteligencia de negocio. Ofrecemos soluciones a medida y acompañamos en la integración de agentes IA y proyectos de ia para empresas. Si necesitas desarrollar una aplicación con integración de LLM o una plataforma optimizada para costes y seguridad, podemos ayudarte a medida y con buenas prácticas de ciberseguridad y automatización de procesos. Conoce nuestros servicios de inteligencia artificial en Q2BSTUDIO Inteligencia Artificial y si buscas desarrollo de aplicaciones a medida visita servicios de software a medida.

Busco retroalimentación genuina de desarrolladores. Preguntas concretas ¿Confiarías en un proxy que optimiza costes de LLM controlando el enrutamiento y la edición de respuestas antes de facturar? ¿Te sería útil la prevención de AI Slop en tu flujo de trabajo? ¿La caché semántica gratuita te aporta valor suficiente para adoptarla? ¿Qué modelo de precios te parece razonable para un devtool así y qué características serían imprescindibles para que lo consideres imprescindible? ¿Tienes temores o requerimientos de seguridad o cumplimiento que debamos priorizar?

Estoy afinando el MVP y tu feedback influirá directamente en lo que construyamos a continuación. Si quieres una demo o acceso a un preview técnico puedo compartirlo y responder preguntas sobre integración, seguridad y casos de uso. Gracias por leer y por tus comentarios.