El reto abordado fue doble: dejar atrás la dependencia de la nube y resolver un problema personal de productividad al evitar la creación manual de presentaciones. La idea central fue construir un generador de presentaciones controlado por voz que entienda audio, coordine múltiples agentes de IA, genere contenido estructurado y sintetice respuestas de voz, todo ejecutándose de forma local en hardware de borde como Jetson Orin Nano sin depender de servidores remotos.
Para lograrlo se empleó un enfoque multiagente usando el framework CAMEL AI y motores de inferencia locales como llama.cpp con modelos cuantizados en formato GGUF. La arquitectura separa agentes conversacionales y agentes especializados en creación de diapositivas, integrando herramientas de generación de PowerPoint para producir archivos .pptx automáticamente. Esta separación aporta robustez, aislamiento de fallos y facilidad para extender el sistema con nuevos agentes o herramientas.
Tecnologías clave empleadas: reconocimiento de voz Whisper en modo local para transcripción STT, modelos LLM cuantizados Q4 para inferencia eficiente, toolkits para creación de PPTX y motores TTS para respuestas habladas. En la práctica se evaluaron modelos como Mistral 7B, Meta Llama 3.1 8B y Qwen 2.5 7B. La mejor relación entre calidad, coherencia en llamadas a funciones y uso de memoria en dispositivo fue Qwen 2.5 7B cuantizado a Q4, con tiempos de respuesta razonables y uso de RAM compatible con 8 GB de memoria del dispositivo.
Los cuellos de botella detectados fueron principalmente la síntesis de voz y la gestión de memoria. Los modelos TTS no optimizados para ARM64, como Tacotron2 sin aceleración, provocaron latencias de varios segundos por respuesta, y la suma de memoria de LLM, STT, TTS y sistema operativo alcanzó picos cercanos al 97 de la capacidad disponible. Para mitigar esto se implementó gestión dinámica del ciclo de vida de modelos, descarte de modelos no usados, limpieza de caché de CUDA y carga y descarga según demanda.
Otras optimizaciones prácticas incluyeron cuantización Q4 para reducir el tamaño del LLM de decenas de gigabytes a unos pocos gigabytes manteniendo la integridad de las llamadas a función, ajuste de modos de energía y relojes en Jetson con nvpmodel y jetson_clocks para maximizar rendimiento, y simplificación de prompts para reducir tiempos de inferencia y evitar timeouts. Un ejemplo de simplificación útil consistió en sustituir prompts extensos de 500 tokens por instrucciones compactas de 150 tokens que redujeron respuestas tardías a tiempos operativos aceptables.
En cuanto a arquitectura de orquestación, el patrón multiagente facilitó la especialización: un agente conversacional atiende diálogo general y otro agente con acceso a herramientas PPTX genera y guarda presentaciones siguiendo pasos definidos como crear presentación, añadir 4 a 6 diapositivas enfocadas en contenido educativo, y guardar el archivo con nombre descriptivo. Esta orquestación demostró resiliencia, permitiendo que fallos en generación de diapositivas no afectaran la experiencia conversacional y viceversa.
Resultados prácticos: el sistema demostró operación completamente offline tras la instalación inicial, generación multimodal desde entrada de voz hasta documento y respuesta hablada, y tiempos de pipeline que, si bien no son inmediatos, permiten flujos de trabajo útiles para crear presentaciones técnicas de forma automática en el borde. La experiencia mostró que el éxito en edge AI depende más de integración de sistema y optimizaciones que de contar con el hardware más potente.
Direcciones futuras para mejora incluyen acelerar TTS mediante modelos ligeros o inferencia cuantizada, explorar INT8 y mixed precision para mayor compresión y velocidad, destilación de modelos para crear versiones especializadas y menores en memoria, y batching o pipeline asíncrono para disminuir latencia percibida por usuario. También es recomendable diseñar políticas de carga dinámica que prioricen modelos según la tarea inminente y el estado de recursos.
Desde Q2BSTUDIO ofrecemos experiencia práctica en diseño e integración de soluciones de IA de múltiples agentes y despliegues en hardware de borde. Como empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad y servicios cloud aws y azure, ayudamos a llevar pruebas de concepto a productos listos para producción. Si su objetivo es automatizar procesos, crear soluciones de software a medida o incorporar agentes IA en entornos locales o híbridos, podemos asesorar en arquitectura, selección de modelos y optimización para edge.
Además de desarrollo de aplicaciones y soluciones de IA, en Q2BSTUDIO trabajamos en seguridad aplicada y pentesting, inteligencia de negocio y visualización con Power BI y servicios gestionados en la nube. Para proyectos que requieran integración de modelos y estrategias de negocio con presentación automatizada y análisis de datos, consulte nuestra oferta de software a medida y aplicaciones a medida y nuestra área de Inteligencia artificial para empresas.
Palabras clave integradas: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Si desea el código, notas detalladas de implementación o una consultoría para evaluar viabilidad en su hardware, en Q2BSTUDIO estamos disponibles para colaborar y optimizar su solución de IA en el borde.
.jpg)
.jpg)
.jpg)