WebSockets y ComfyUI: IA Interactiva

Este es el segundo artículo de una serie sobre cómo integrar ComfyUI con otras herramientas para construir flujos de trabajo más complejos. Vamos más allá de la interfaz tradicional basada en nodos para conectar ComfyUI desde código y soluciones no code, ya sea mediante llamadas a la API HTTP o a través de MCP Servers.

Aprenderás cómo usar la API de ComfyUI para crear aplicaciones personalizadas y automatizar tareas, construyendo sistemas potentes y totalmente automatizados de generación con inteligencia artificial.

En el artículo anterior de la serie mostramos la conexión de ComfyUI con Jupyter Notebook usando llamadas HTTP básicas. Aunque funcional, este enfoque dependía de esperas artificiales con time.sleep, obligando a ajustar manualmente el tiempo según la complejidad del flujo. No es ideal para entornos productivos.

Para resolverlo, aprovechamos la API WebSocket de ComfyUI en el endpoint ws, que habilita comunicación bidireccional en tiempo real entre Jupyter y ComfyUI. Esta mejora permite recibir al instante el progreso de ejecución, ver el estado de cada nodo mientras corre, obtener errores y pistas de depuración al momento y conocer la situación de la cola de trabajo en tiempo real. Así eliminamos las conjeturas y logramos un flujo interactivo y reactivo.

Caso de uso simplificado: 1 Configuración del flujo con un workflow de ComfyUI precargado desde un JSON. 2 Personalización del prompt, insertando dinámicamente el texto del usuario dentro del grafo. 3 Ejecución en tiempo real, enviando el workflow y monitorizando su evolución mediante WebSockets, con actualizaciones de estado, actividad de nodos y finalización. 4 Recuperación del resultado, descargando automáticamente las imágenes y mostrándolas directamente en el notebook.

Implementación en Jupyter Notebook, visión general: primero importamos websocket para la comunicación en tiempo real, uuid para generar un identificador de cliente, json para manejar estructuras de datos, requests para peticiones HTTP, PIL y io para procesar y abrir las imágenes, e IPython.display para mostrarlas en el notebook. Definimos la dirección del servidor local 127.0.0.1:8188 y un client id único.

Funciones clave del flujo: queue_prompt envía el workflow a la ruta HTTP POST en prompt junto al client id y un prompt id para rastrear la ejecución. get_image descarga ficheros desde view proporcionando filename, subfolder y el tipo de carpeta, por ejemplo output. get_history consulta el historial en history prompt_id para obtener los nodos finales y sus salidas. get_images coordina todo: genera un prompt id, encola el workflow, escucha mensajes del WebSocket y detecta la finalización cuando llega un evento de tipo executing con node igual a None para ese prompt id. Tras finalizar, consulta el historial y descarga cada imagen producida por los nodos de salida.

Antes de ejecutar, cargamos el workflow desde un archivo JSON, por ejemplo t2i-krea.json, y actualizamos el campo de texto del nodo que contiene el prompt del usuario. Después establecemos la conexión con ws en la ruta ws del servidor, pasando clientId en la query, lanzamos la ejecución, esperamos los eventos y, una vez concluido, cerramos la conexión.

Para visualizar resultados en Jupyter, abrimos cada imagen descargada con PIL y la mostramos en celda. El proceso completo es continuo y sin esperas ciegas: escribes un prompt, observas el avance en vivo y recibes las imágenes en cuanto se generan.

Conclusiones y siguiente paso: al pasar de simples llamadas HTTP a WebSockets, eliminamos retrasos artificiales, ganamos robustez en la orquestación y obtenemos trazabilidad completa del pipeline de IA en tiempo real. Este enfoque sienta una base sólida para aplicaciones de alto nivel con ComfyUI ejecutadas desde Python y Jupyter. En el siguiente artículo nos moveremos al terreno no code para orquestar estos flujos con herramientas visuales como n8n, sin escribir una sola línea de código.

Cómo puede ayudarte Q2BSTUDIO: somos una empresa de desarrollo de software especializada en software a medida y aplicaciones a medida, expertos en inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio y power bi. Diseñamos y desplegamos flujos de inferencia con ComfyUI, agentes IA y automatizaciones sobre infraestructuras modernas, integrando datos y garantizando escalabilidad y seguridad extremo a extremo.

Si tu organización busca acelerar la adopción de ia para empresas, desde prototipos hasta producción, podemos acompañarte con consultoría, implementación y soporte continuo. Descubre cómo aplicamos modelos generativos, orquestación en tiempo real y pipelines observables en nuestros servicios de inteligencia artificial y cómo convertimos escenarios repetitivos en operaciones resilientes con automatización de procesos. En Q2BSTUDIO llevamos tus ideas a soluciones listas para producción, seguras y escalables, alineadas con tus objetivos de negocio.