Soniox STT v6: transcripción en 60+ idiomas, traducción y cancelación de eco

Qué cambió en stt-rt-v6 para el formato y el cambio de código en 60+ idiomas

La razón principal por la que elijo Soniox frente a los motores de transmisión de un solo idioma es cómo gestiona el cambio de código multilingüe dentro de una misma oración. Cuando dicto notas técnicas o hablo en reuniones donde las frases mezclan mandarín, inglés y francés —o saltan entre español e inglés sin previo aviso—, stt-rt-v6 cambia de sistema de escritura sobre la marcha sin requerir un selector de idioma ni un enrutamiento de audio separado. Con una conexión estable, la latencia de transmisión de extremo a extremo se sitúa entre 500 milisegundos y 1 segundo hasta que aparece el primer token.

En la v6, los números hablados, los importes monetarios y los códigos alfanuméricos de productos se devuelven con un formato mucho más cercano a cómo los escribirías de forma natural, en lugar de palabras deletreadas. Sin embargo, la v6 cambia la forma de procesar los comandos de dictado por voz. Si dices en voz alta instrucciones de formato como period, new line o scratch that, el modelo transcribe esas frases literalmente como palabras en vez de convertirlas en signos de puntuación o borrar la cláusula anterior. Si utilizas stt-rt-v6 dentro de una herramienta personalizada de dictado por voz, tu aplicación cliente ahora debe analizar esas frases de comando literales desde el flujo de tokens y ejecutar las ediciones de texto por sí misma.

También conviene saber dónde está el límite de los 60 idiomas. Aunque Soniox abarca los principales idiomas de Europa, Asia y Medio Oriente en un solo modelo, no incluye todas las lenguas regionales habladas. Idiomas como el nepalí, cingalés, jemer, birmano, lao, amárico, armenio, georgiano, mongol, islandés, irlandés, javanés, yoruba, zulú, hausa y somalí no figuran en la lista de idiomas compatibles. Si un hablante utiliza uno de esos idiomas, no podrás seleccionarlo en la configuración de idioma ni obtener una transcripción en su escritura nativa desde Soniox, por lo que seguirás necesitando un proveedor de respaldo para esas regiones específicas.

Cómo funcionan Agent Text Input y Agent Voice Echo Cancellation sin auriculares

El mayor dolor de cabeza operativo con los agentes de voz en vivo y los subtítulos de escritorio es el eco acústico. Si reproduces la voz de un asistente de IA o la de un participante remoto de una reunión a través de los altavoces de tu computadora portátil sin usar auriculares, tu micrófono capta esa salida del altavoz y la vuelve a introducir directamente en el flujo de voz a texto. El motor de transcripción termina transcribiendo la propia voz de la computadora como si la hubieras dicho tú, lo que provoca falsas interrupciones y arruina los turnos de palabra.

Soniox STT v6 resuelve esto dentro del modelo en tiempo real mediante Agent Text Input y Agent Voice Echo Cancellation. En lugar de depender únicamente de la cancelación de eco acústico por hardware a nivel del sistema operativo, envías el texto exacto que tu agente de voz está pronunciando a la sesión activa de stt-rt-v6 a través de Agent Text Input. Como el motor de transcripción ahora conoce el contenido textual del audio que sale por los altavoces, Agent Voice Echo Cancellation elimina ese habla coincidente del flujo entrante del micrófono mientras sigue escuchando tu voz. Puedes dejar los altavoces activados e interrumpir al agente a mitad de frase, y el flujo solo transcribirá lo que tú digas realmente.

Aquí existe un límite arquitectónico importante que determina si puedes utilizar esta función de inmediato:

• Agentes de voz con guiones de respuesta conocidos: Si estás desarrollando un agente de voz interactivo con IA, tu backend genera la respuesta de texto del LLM antes o mientras el motor de texto a voz la reproduce en voz alta. Ya tienes el texto exacto de la respuesta en memoria, por lo que pasarlo a Agent Text Input funciona directamente sin configuración adicional.
• Dictado por voz y reuniones bidireccionales entre personas: Si estás creando una aplicación independiente de dictado por voz o grabando una llamada bidireccional de Zoom o Teams con el altavoz activado, tu aplicación no tiene un guion previo de lo que la otra persona en la llamada está a punto de decir. Para el dictado estándar, Agent Text Input no tiene efecto y debe dejarse desactivado. Para reuniones con altavoz y sin auriculares, la única forma de usar la cancelación de eco de Soniox es mediante una solución alternativa de dos canales: ejecutas un flujo en tiempo real para transcribir el audio del sistema que proviene del hablante remoto y, simultáneamente, envías esa transcripción en vivo como Agent Text Input al flujo del micrófono para suprimir la filtración de sonido en la sala.

Límites de la traducción en vivo y la trampa del contexto en la diarización de hablantes

Soniox STT v6 te permite ejecutar traducción en tiempo real dentro de la misma conexión WebSocket de transmisión que tu transcripción, lo cual resulta práctico cuando buscas subtítulos de baja latencia sin tener que conectar una segunda API. Al probar e implementar esto en flujos de trabajo reales, destacan dos límites de comportamiento tanto en la traducción como en la diarización de hablantes.

En primer lugar, si configuras la traducción one_way en el cliente de Soniox, el campo target_language solo acepta una única cadena de idioma. Si pasas un arreglo o varios idiomas de destino esperando transmitir subtítulos en vivo en español, francés y japonés a partir de un solo flujo en inglés, la API descarta silenciosamente los idiomas adicionales y solo genera el primero. Para emitir varios idiomas traducidos al mismo tiempo en un seminario web o evento en vivo, debes abrir una sesión WebSocket independiente para cada idioma de destino. Además, aunque stt-rt-v6 es preciso al transcribir el audio de origen —especialmente cuando introduces terminología del sector y palabras clave en el parámetro context—, su traducción integrada se lee notablemente más rígida que la de un modelo extenso de lenguaje dedicado al procesar jerga o charlas rápidas en transmisiones en vivo. Cuando la fluidez de la traducción importa más que ahorrar 300 milisegundos, utilizo stt-rt-v6 estrictamente para la transcripción y envío las oraciones finalizadas a un LLM externo con un contexto de conversación continuo.

En segundo lugar, si activas la diarización de hablantes (enable_speaker_diarization: true) para etiquetar quién está hablando, debes vigilar la longitud de caracteres de tu carga útil en context.text. Aunque la documentación de Soniox permite hasta 8,000 tokens de contexto, pasar una cadena context.text de unos 3,000 caracteres provoca que la diarización de hablantes deje de funcionar silenciosamente: cada token devuelto llega con speaker: null en lugar de "1" o "2", sin arrojar ningún código de error. Mantener cada bloque de contexto recortado a unos 400 caracteres —aproximadamente 800 caracteres en total para términos del dominio y nombres de participantes— conserva la mejora de precisión de las palabras clave mientras mantiene intactas las etiquetas de los hablantes. Ten en cuenta también que, si bien Soniox alinea con precisión las marcas de tiempo de las palabras cuando hablan dos personas, las interrupciones rápidas de ida y vuelta sin pausa entre los hablantes aún pueden fusionar ambas voces en un único bloque de oración continuo.

Cómo reducir 250ms de latencia y solucionar errores 401 en WebSocket

Cuando integras stt-rt-v6 en una aplicación en tiempo real, la mayor parte de la fricción proviene de la gestión de sesiones WebSocket más que de la precisión del modelo. Ajustar tres parámetros de conexión evita las caídas de conexión y reduce notablemente el retraso en cada turno.

Si ejecutas un detector de actividad de voz (VAD) local en un entorno como LiveKit para detectar cuándo el hablante deja de hablar, simplemente vaciar el flujo de audio te deja esperando a que la detección de fin de frase del servidor de Soniox decida que la oración ha terminado. En la práctica, esperar ese punto final automático toma entre 664 y 1,058 milisegundos después de la última palabra pronunciada. Si envías explícitamente el mensaje de control JSON {"type": "finalize"} a través del WebSocket en el momento en que tu VAD detecta silencio, la transcripción final llega en un rango de 440 a 475 milisegundos, recortando aproximadamente 250 milisegundos en cada respuesta.

También debes verificar cómo se autentica tu cliente y a qué nombre de host regional se conecta. Históricamente, las conexiones WebSocket de Soniox (wss://stt-rt.soniox.com/transcribe-websocket) aceptaban la api_key dentro de la primera trama de configuración JSON tras abrir el socket. A partir del 15 de enero de 2027, las conexiones que solo pasen la clave de API dentro de ese mensaje JSON inicial serán rechazadas con el error 401 unauthenticated. Debes enviar Authorization: Bearer <YOUR_API_KEY> en los encabezados del protocolo de enlace (handshake) HTTP al abrir el WebSocket. Mover la autenticación al encabezado del handshake también facilita el enrutamiento del tráfico a través de puertas de enlace de API unificadas como LiteLLM, que anteriormente no podían actuar como proxy para los flujos WebSocket sin procesar de Soniox porque la clave estaba oculta dentro de la primera trama de carga útil, a menos que realizaras el mapeo mediante un contenedor en tiempo real de GPT.

Por último, si tu clave de API válida devuelve repentinamente un error 401, verifica la región de tu proyecto. Soniox vincula las claves a centros de datos regionales, y una clave de proyecto de la UE siempre devolverá 401 si tu aplicación tiene codificado de forma fija el host predeterminado de EE. UU. (stt-rt.soniox.com o api.soniox.com). Debes hacer coincidir el endpoint con la región de tu proyecto: stt-rt.eu.soniox.com y api.eu.soniox.com para la Unión Europea, stt-rt.jp.soniox.com para Japón y stt-rt.in.soniox.com para la India. Enrutar un cliente europeo directamente al host .eu también reduce el tiempo de establecimiento de la conexión WebSocket de unos 0.55 segundos a 0.30 segundos.

Soniox STT v6 vs. Whisper, Parakeet y Nemotron 3.5 Transcribe

Elegir entre Soniox STT v6 y otros modelos actuales depende de si necesitas cambio de código multilingüe basado en la nube, privacidad local sin conexión o un manejo intensivo de voces superpuestas con múltiples hablantes.

Cuando pruebo el dictado por voz en distintos idiomas, Whisper (ya sea ejecutándose en la rápida API HTTP de Groq o localmente dentro de MacWhisper) sigue marcando un estándar alto para archivos por lotes puramente en inglés, y Apple Speech resulta práctico para el uso sin conexión en macOS. Sin embargo, ambos fallan cuando mezclo mandarín, inglés y francés en una misma intervención, ya sea transliterando términos de código en inglés a caracteres fonéticos o quedándose bloqueados en el idioma equivocado durante el resto de la oración. Si solo dictas en inglés y buscas una respuesta local instantánea sin pagar tarifas de API por minuto, ejecutar el modelo de transmisión Parakeet de 160 MB dentro del dictado por voz local de Hex 3.0 te ofrece transmisión por GPU de 100 ms directamente en tu equipo. Y si tu prioridad es transcribir grabaciones médicas o legales complejas con múltiples hablantes en tu propio hardware y con etiquetas de hablante, NVIDIA Nemotron 3.5 Transcribe procesa 40 idiomas y voces superpuestas de forma local si cuentas con la VRAM necesaria para alojar un modelo MoE de 30B-A4B.

Soniox STT v6 gana cuando no puedes predecir cuál de los 60+ idiomas utilizará el hablante a continuación, o cuando estás creando un agente de voz que necesita cancelar la salida de su propio altavoz sin obligar al usuario a ponerse los AirPods.

Por supuesto, Soniox STT v6 es una API para desarrolladores, no una aplicación de escritorio con una ventana de subtítulos. Si solo quieres leer subtítulos en vivo y traducciones bilingües durante una llamada multilingüe de Zoom, una clase universitaria o una transmisión en directo sin escribir código WebSocket ni gestionar claves de API regionales, yo utilizo Vocena. A diferencia de los bots de reuniones en la nube que se unen a tu llamada como un participante adicional, o de las utilidades de dictado de un solo idioma, Vocena se ejecuta directamente en tu computadora, captura tanto el audio del sistema como tu micrófono simultáneamente y muestra subtítulos y traducciones en tiempo real en la pantalla; se ubica en una categoría de escritorio sin bots similar a la aplicación de escritorio de Otter para Mac, pero diseñada en torno a la traducción en vivo multilingüe y la lectura en dos idiomas. Vocena es ideal para trabajadores remotos, estudiantes y equipos internacionales que lidian a diario con audio en varios idiomas; ofrece un plan gratuito que cubre subtítulos básicos en vivo y sesiones diarias cortas, mientras que la traducción continua e ilimitada en tiempo real, la grabación de reuniones largas y la exportación de transcripciones completas requieren una suscripción de pago.