Hace poco compartí una experiencia divertida: poner un LLM en el navegador para que escribiera mensajes de commit por mí. En un par de tardes construí un prototipo que toma un git diff o fragmento de código, analiza los cambios y genera un mensaje de commit todo en el navegador sin llamar a ninguna API externa. Fue rápido de montar y muy entretenido, pero también me enseñó varias lecciones prácticas sobre modelos, rendimiento y prompt engineering.
Como desarrolladores en Q2BSTUDIO, empresa especializada en aplicaciones a medida y software a medida, nos interesa mucho explorar cómo la inteligencia artificial puede integrarse directamente en flujos de trabajo locales. Además de desarrollo de software a medida, ofrecemos servicios de ciberseguridad, servicios cloud aws y azure y soluciones de inteligencia de negocio y power bi para empresas que buscan aprovechar agentes IA y automatización en sus procesos.
La idea era sencilla: pegas un diff o un snippet, el modelo infiere la intención y devuelve un mensaje listo para usar. Elegí ejecutar todo con Transformers.js y modelos en formato ONNX para poder cargar el modelo en el navegador. Ventaja principal: nada sale de la máquina del desarrollador, no hay tokens, no hay facturación ni riesgos de exfiltración de código.
Elegir el modelo fue lo más complicado. Necesitaba algo pequeño y compatible con Transformers.js y ONNX, con entrenamiento en código y capacidad para razonar cambios. Al final opté por un modelo ligero orientado a código que se ejecuta rápido en el navegador. No es un gigante tipo GPT-4, pero para la tarea concreta de resumir cambios y sugerir mensajes de commit funciona sorprendentemente bien con un prompt bien diseñado.
Un par de hallazgos prácticos: cuando pegas código bien formado obtienes mensajes razonables; con código roto el modelo puede devolver una respuesta definida por el prompt indicando que no es código válido; y si le preguntas sobre el clima te dará una respuesta casual que revela las limitaciones de los LLM pequeños. La moraleja es que el prompt engineering y la selección de modelo son la mitad del trabajo en proyectos como este.
Otro reto fue el rendimiento. La carga del modelo solo ocurre una vez, pero la inferencia bloqueaba el hilo principal y React apenas tenía tiempo para renderizar estados intermedios. La solución real fue mover la inferencia a un Web Worker. Transformers.js funciona muy bien dentro de workers, lo que evita congelamientos en la UI y permite mostrar mensajes tipo Generando sin interrupciones.
El resultado final es una pequeña app con UI ligera en React y Tailwind, un Web Worker que hospeda el modelo en ONNX y un generador de mensajes de commit que funciona sin conexión. También añadí una detección para entradas que no son código y un toque de humor con mensajes tipo inicial commit o it finally works i guess para hacer la experiencia más humana.
Si te interesa integrar soluciones de inteligencia artificial en tus proyectos empresariales, en Q2BSTUDIO desarrollamos desde aplicaciones a medida hasta plataformas con agentes IA y soluciones de inteligencia de negocio. Podemos ayudarte a prototipar una versión que incluya streaming de respuestas, selección de modelos o sugerencias múltiples de mensajes, todo adaptado a tus necesidades.
Para equipos que buscan soluciones personalizadas, podemos construir e integrar esta clase de herramientas dentro de una estrategia más amplia que incluya seguridad y despliegue en la nube. Consulta nuestras capacidades de desarrollo de aplicaciones en servicios de desarrollo de aplicaciones y software multillataforma y descubre cómo aplicamos inteligencia artificial a problemas reales en proyectos de IA para empresas.
Lecciones clave: LLMs en el navegador son divertidos y útiles, pero requieren modelos pequeños, buen prompt engineering y ejecución en Web Workers para una experiencia fluida. Transformers.js resulta una opción sólida para prototipos locales. Si quieres que te ayudemos a llevar esto a producción o a integrar capacidades de IA dentro de tu ecosistema con ciberseguridad y servicios cloud aws y azure, en Q2BSTUDIO diseñamos soluciones a medida que incluyen servicios de inteligencia de negocio, power bi y automatización de procesos.
¿Te gustaría probar un prototipo similar para tu equipo o prefieres que evaluemos opciones de seguridad y despliegue? Contacta con nosotros y conversemos sobre cómo la IA puede mejorar tus flujos de trabajo de desarrollo y operaciones.
.jpg)