La inteligencia artificial conversacional ha dado un salto cualitativo con los modelos de voz a voz (V2V). Ya no se trata de sistemas que transcriben, procesan texto y luego sintetizan; ahora el audio entra y sale directamente, conservando matices como pausas, entonación e incluso interrupciones. Entender cómo funcionan estas arquitecturas es clave para empresas que buscan integrar asistentes de voz en sus procesos, ya sea en atención al cliente, automatización de tareas o aplicaciones a medida.
La forma más simple de V2V es la cascada: un reconocedor de voz (ASR) convierte el audio en texto, un modelo de lenguaje (LLM) genera la respuesta y un sintetizador (TTS) la vocaliza. Este enfoque es transparente, fácil de depurar y permite sustituir componentes, pero pierde toda la información prosódica —el tono, el ritmo, los suspiros— que no cabe en el texto. Los sistemas nativos de voz, en cambio, trabajan directamente con representaciones discretas del sonido, como los tokens de un codec neuronal. Por ejemplo, Mimi (de Kyutai) comprime un segundo de audio en 100 tokens distribuidos en ocho flujos paralelos. El modelo predictivo —un transformer autorregresivo— aprende a generar esos tokens secuencialmente, reconstruyendo después la onda mediante un decodificador.
La representación del audio es crucial. La onda muestreada a 24 kHz requiere 24.000 puntos por segundo, lo que es inviable para un transformer por su atención cuadrática. En cambio, un codec como EnCodec o DAC reduce la tasa a 50–75 tramas por segundo, cada una con varios índices de cuantización vectorial residual (RVQ). Esto permite bitrates de unos 2 kbit/s, 192 veces menor que el PCM original, pero con pérdidas: los susurros, los acentos raros o los ruidos de fondo pueden degradarse. No obstante, la calidad del codec limita la del sistema final, no su capacidad de comprensión.
Arquitectónicamente, un modelo V2V típico tiene cuatro bloques: un codificador de entrada (que transforma la onda en embeddings o tokens), un backbone transformer (que gestiona el contexto y la historia), unas cabezas de salida (que predicen los tokens de audio o texto) y un decodificador de audio (que reconstruye la onda). El backbone suele ser un LLM adaptado a audio, con atención causal y una caché KV para evitar recalcular estados pasados. En sistemas full-duplex como Moshi, dos flujos de audio (usuario y asistente) se modelan en paralelo mediante un transformer temporal y otro de profundidad, logrando latencias de unos 200 ms.
El entrenamiento de estos modelos es costoso. Primero se entrena el codec con objetivos de reconstrucción, pérdidas adversarias y perceptuales. Luego se preentrena el modelo de lenguaje de voz sobre cientos de miles de horas de audio, a menudo con transcripciones automáticas. Después se alinea la representación de sonido con el texto mediante pares audio-transcripción, y finalmente se afina con diálogos y preferencias humanas (RLHF). La seguridad también se trabaja en esta fase, aunque el control en producción requiere capas adicionales de filtros y políticas de herramientas.
En tiempo real, el mayor desafío es la latencia de extremo a extremo. La detección de actividad de voz (VAD) decide cuándo el usuario ha terminado; un modelo de finalización de turno evita cortes prematuros. El streaming envía fragmentos (20–240 ms) que el codificador procesa incrementalmente, mientras el decodificador ya empieza a generar respuesta. El barge-in permite que el usuario interrumpa la reproducción; el full-duplex va más allá y mantiene ambos canales activos, modelando solapamientos y retroalimentaciones. Estas decisiones de diseño afectan directamente la experiencia de usuario y el coste computacional.
La prosodia y la emoción son otro frente. Un modelo nativo de voz puede captar el tono, la velocidad y las pausas, pero no interpreta emociones: solo correlaciona patrones acústicos con respuestas del entrenamiento. Gemini Live, por ejemplo, ofrece diálogo afectivo en versiones concretas, pero la mayoría de APIs cerradas no garantizan una lectura correcta del estado de ánimo. Para aplicaciones críticas (banca, salud), es más seguro ignorar la inferencia emocional y centrarse en respuestas neutrales y verificables. Aquí entra la ciberseguridad: evitar que un atacante inyecte comandos de voz o clone una identidad. Las soluciones de ciberseguridad deben integrarse con marcas de agua y políticas de autenticación.
En el ámbito empresarial, los modelos V2V están transformando centros de contacto, asistentes virtuales y sistemas de automatización. Una empresa puede desplegar un agente de voz que entienda consultas complejas, acceda a bases de datos, ejecute acciones y se comunique con naturalidad. Sin embargo, la evaluación debe ser rigurosa: latencia P95, precisión en nombres y números, tasa de éxito de tareas y coste por sesión. No basta con que suene bien; debe resolver el problema del cliente.
En Q2BSTUDIO desarrollamos soluciones de software a medida que integran modelos de voz, inteligencia artificial, cloud computing (AWS/Azure), Business Intelligence con Power BI y automatización de procesos. Nuestro equipo combina el conocimiento técnico de las arquitecturas V2V con la experiencia en despliegues productivos, garantizando que la voz no solo suene humana, sino que cumpla con los requisitos de seguridad, latencia y auditabilidad que exige el negocio. Si estás evaluando incorporar voz a tus aplicaciones, te ayudamos a elegir entre una cascada transparente o un sistema nativo, siempre con métricas objetivas y un enfoque pragmático.
El futuro de la voz a voz pasa por modelos multimodales (audio, texto, imagen), eficiencia en tokens y decodificadores más rápidos, y una mejor gestión del contexto largo. Las cascadas no desaparecerán porque ofrecen control y observabilidad; los sistemas nativos ganarán en naturalidad. La clave está en medir, no en creer.
