Voxtral 3 para voz a texto: precisión vs. Nemotron 3.5, idiomas y transcripción

Soporte de idiomas: la división entre procesamiento por lotes y tiempo real

Ambos lanzamientos promocionan una amplia cobertura multilingüe, pero la lista exacta de idiomas depende de a qué endpoint llames y de si los hablantes cambian de idioma a mitad de una oración.

En la documentación del estudio de audio de Mistral, voxtral-small-transcribe-3-0 y voxtral-mini-transcribe-3-0 admiten más de 50 idiomas, incluidos los 24 idiomas oficiales de la Unión Europea. No necesitas enviar una etiqueta de idioma de antemano. Cuando envío grabaciones europeas mixtas —como una llamada donde los participantes alternan entre francés, alemán, neerlandés e inglés— a voxtral-small-transcribe-3-0 con la detección automática de idioma activada, mantiene una tasa de error de palabras del 4.0% en la prueba de referencia FLEURS de 45 idiomas. El modelo más pequeño de 4B, voxtral-mini-transcribe-3-0, le sigue muy de cerca con un 4.5% por medio centavo menos cada diez minutos, mientras que Whisper large-v3 se queda en un 14.9% en la misma prueba multilingüe porque suele alucinar o bloquearse en el token de idioma equivocado durante los primeros 30 segundos.

El detalle con Voxtral 3 es que la cantidad de idiomas se reduce cuando pasas de archivos grabados a subtítulos en vivo. Mientras que los endpoints por lotes manejan 50+ idiomas, voxtral-mini-transcribe-realtime-3-0 admite 35+ idiomas. Los principales idiomas europeos y asiáticos se mantienen intactos, pero si generas subtítulos en vivo para idiomas regionales o menos hablados de la UE, debes verificar si tu idioma de destino está dentro del subconjunto de 35 idiomas en tiempo real antes de comprometerte con una integración de WebSocket en vivo.

Nemotron 3.5 Transcribe toma una ruta geográfica distinta en sus 40 idiomas de transcripción admitidos (y 31 idiomas de traducción de voz a texto). Junto con el inglés y los principales idiomas europeos, NVIDIA entrenó intensivamente el modelo en siete idiomas índicos. En mis pruebas con grabaciones donde los hablantes mezclan términos técnicos en inglés dentro de conversaciones en hindi, tamil o lenguas regionales del sur de Asia, Nemotron 3.5 maneja la alternancia de código de forma limpia sin intentar transliterar los sustantivos en inglés a alfabetos fonéticos locales ni viceversa. Y dado que NVIDIA publicó los pesos bajo la licencia OpenMDW-1.1 en Hugging Face con soporte completo de entrenamiento en NeMo Speech, los equipos que trabajan con dialectos regionales que aún producen altas tasas de error pueden ajustar el modelo con su propio audio, algo que no puedes hacer con Voxtral 3 ahora que Mistral pasó de los pesos abiertos en Voxtral 2 a pesos cerrados exclusivos por API en Voxtral 3.

Hablantes superpuestos, llamadas con acento y verificación de guiones TTS

Los promedios brutos de las pruebas de rendimiento rara vez te dicen por qué falla una transcripción en el trabajo diario. Cuando proceso grabaciones largas con ambos modelos, las diferencias reales aparecen en tres puntos específicos: interrupciones entre varias personas, audio telefónico ruidoso con acentos y verificación estricta de terminología.

Superposición de múltiples hablantes y diarización

Durante los últimos tres años, usar Whisper para transcribir reuniones significaba unir dos flujos de procesamiento separados: ejecutar Whisper para el texto, ejecutar pyannote.audio o WhisperX para agrupar a los hablantes y esperar que las marcas de tiempo coincidieran. Esa configuración consume de dos a tres veces más memoria de GPU y se desmorona cada vez que dos personas hablan al mismo tiempo justo en el límite del fragmento de 30 segundos.

Nemotron 3.5 Transcribe elimina por completo el flujo secundario de diarización. Integra el módulo de diarización de Nemotron 3 directamente en la arquitectura del modelo y acepta hasta 60 minutos de audio continuo en una sola pasada. Cuando le envío una grabación de 45 minutos con varias personas, una única pasada directa devuelve marcas de tiempo a nivel de palabra ya etiquetadas con <speaker_0> y <speaker_1>. Como el modelo rastrea el contexto acústico durante toda la hora en lugar de reiniciarse cada 30 segundos, no intercambia las identidades de los hablantes a mitad de la llamada, y el ruido de fondo no lo engaña para inventar un <speaker_3> fantasma.

Voxtral 3 también incluye diarización nativa tanto en voxtral-small-transcribe-3-0 como en voxtral-mini-transcribe-realtime-3-0. Donde destaca Voxtral es en la toma de turnos conversacionales en vivo. Su modelo en tiempo real combina la detección de pausas acústicas con el significado semántico para predecir eventos de fin de turno. Si alguien en una llamada de soporte hace una pausa de un segundo completo a mitad de la lectura de un número de cuenta de doce dígitos, el flujo en tiempo real de Voxtral reconoce que la oración está gramaticalmente incompleta y mantiene el turno abierto en lugar de dividir la línea de transcripción o permitir que un bot de voz interrumpa a quien llama.

Reuniones con acento y audio telefónico ruidoso

Casi todos los modelos de voz obtienen menos de un 2% de WER en lecturas de estudio limpias, pero luego ven cómo su tasa de error se duplica o triplica en llamadas telefónicas reales entre dos personas, llenas de asentimientos como "mm-hmm", reinicios de frases y compresión de micrófonos Bluetooth.

Cuando realizas pruebas tanto en clips limpios como en pistas telefónicas conversacionales sin editar, Nemotron 3.5 Transcribe es el modelo más estable en audio degradado. Su tasa de error pasa de 1.89% en clips cortos limpios a 3.03% en conversaciones telefónicas de dos personas sin editar (con un promedio general de 2.28%), mientras que los modelos comerciales competidores que logran 1.55%–1.77% en audio limpio superan el 3.8%–4.8% en líneas telefónicas reales. La arquitectura base Mamba-Transformer de Nemotron resiste el clásico fallo de Whisper, donde una ráfaga de estática o un marcado acento regional hace que el decodificador repita la misma frase de cinco palabras veinte veces seguidas.

En reuniones corporativas limpias o moderadamente ruidosas —especialmente llamadas de resultados financieros, seminarios web y equipos europeos con múltiples acentos—, voxtral-small-transcribe-3-0 toma la delantera con un 2.1% de WER (y 2.2% en Mini) mientras se ejecuta a un factor de velocidad de 66.7x a 76.5x.

Control de terminología y verificación de guiones TTS

Un flujo de trabajo que ejecuto regularmente es el control de calidad de audio automatizado: tomar pistas de voz sintética (como audiolibros, doblajes de video localizados o respuestas de agentes de voz generadas por modelos TTS como voxtral-mini-tts-3-0) y transcribirlas de vuelta a texto para verificar que el motor TTS no se haya comido una sílaba, omitido una palabra negativa como "not" o pronunciado mal el nombre de un medicamento.

Voxtral 3 y Nemotron 3.5 te ofrecen dos herramientas opuestas para manejar el vocabulario especializado y la verificación:

En Voxtral 3, ambos modelos por lotes admiten Context Biasing. Pasas un arreglo JSON de cadenas personalizadas —SKU de productos, nombres de ejecutivos, nombres de funciones de API o términos farmacéuticos— directamente en la carga útil de la solicitud sin necesidad de ajuste fino. Añadir esa lista de frases clave eleva la recuperación de Voxtral Small en términos de dominio poco comunes del 81.4% al 94.6%. Cuando transcribo una reunión técnica en la que quiero que cada nombre de producto se escriba correctamente a la primera, el parámetro context_bias de Voxtral es la solución más rápida.

Sin embargo, si estás verificando un archivo de audio TTS frente a un guion original, debes tener cuidado con Context Biasing: si introduces todo el guion en la lista de sesgo, el reconocedor podría autocorregir una palabra TTS mal articulada que en realidad sonó mal en el audio. Para la verificación de TTS y el trabajo de cumplimiento estricto, prefiero Prompt Steering en Nemotron 3.5 Transcribe. Dado que el decodificador de Nemotron está construido sobre un modelo de lenguaje 30B-A3B, obedece instrucciones de sistema en lenguaje natural antepuestas a la solicitud de audio. Puedo indicarle que genere una transcripción literal estricta que incluya tartamudeos y números sin normalizar para controles de calidad de TTS, o cambiar el prompt en la siguiente llamada para eliminar muletillas y formatear párrafos limpios con etiquetas de hablantes para el resumen de un cliente.

Cómo configurar ambos modelos sin construir un backend

Aunque Nemotron 3.5 Transcribe es un modelo MoE de pesos abiertos que solo activa 4.3B de parámetros por token, cargar los pesos completos del modelo de 30B en la memoria sigue consumiendo más de 20GB de VRAM estática. A menos que tengas una estación de trabajo de escritorio con una RTX 3090, RTX 4090 o una Mac con 32GB+ de memoria unificada dedicada al procesamiento por lotes, ejecutarlo localmente es excesivo. (Si lo que realmente buscas es un dictado ligero por streaming con GPU local en una portátil estándar, un modelo Parakeet de 160MB dentro del dictado por voz local de Hex 3.0 se adapta mucho mejor al hardware de consumo).

Para todos los demás casos, puedes usar tanto Nemotron 3.5 como Voxtral 3 ahora mismo a través de aplicaciones de transcripción de escritorio existentes o con un script de diez líneas sin aprovisionar un solo servidor de GPU.

Opción 1: Conectar endpoints alojados en aplicaciones de escritorio

Si ya usas clientes de escritorio como Buzz o MacWhisper para transcribir grabaciones locales en MP3, WAV o MP4, puedes apuntar cualquier cliente que admita endpoints de audio personalizados directamente a la instancia alojada de nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B en DeepInfra.

Configura la URL base personalizada en los ajustes de API de tu cliente como https://api.deepinfra.com/v1/openai, pega tu clave de API de DeepInfra y establece la cadena de ID del modelo en nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. Obtienes transcripción completa de 60 minutos en una sola pasada por $0.002 por minuto ($0.12 por hora) al 2026-11-10 —lo que representa un tercio de lo que cobra GPT por su API anterior ($0.006/min)— sin escribir nada de código de backend.

Opción 2: Llamadas directas en Python para Prompt Steering y Context Biasing

Cuando quieres usar el control por prompts en lenguaje natural de los modelos en la nube de Vocena para la diarización o la lista context_bias para terminología personalizada, las interfaces estándar basadas en GPT a veces ocultan esos campos adicionales. Llamar a sus endpoints REST directamente desde un script local de Python toma menos de un minuto de configurar.

Para procesar una grabación de reunión de 60 minutos con Nemotron 3.5 Transcribe incluyendo etiquetas de hablantes literales y marcas de tiempo:

import requests

url = "https://api.deepinfra.com/v1/inference/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B"
headers = {"Authorization": "Bearer YOUR_DEEPINFRA_API_KEY"}

with open("quarterly_review.mp3", "rb") as audio_file:
    files = {"audio": audio_file}
    data = {
        "prompt": "Transcribe this recording verbatim with speaker attribution and word-level timestamps. Do not normalize technical terms."
    }
    response = requests.post(url, headers=headers, files=files, data=data)
    print(response.json())

Para procesar una grabación con voxtral-small-transcribe-3-0 de Mistral fijando vocabulario de dominio personalizado mediante context_bias (asegúrate de fijar el ID exacto del modelo voxtral-small-transcribe-3-0 en lugar de los alias -latest para que el comportamiento de tu flujo se mantenga predecible):

import os
from mistralai import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

with open("product_sync.mp3", "rb") as f:
    res = client.audio.transcriptions.complete(
        model="voxtral-small-transcribe-3-0",
        file={"content": f, "file_name": "product_sync.mp3"},
        context_bias=["Nemotron", "Voxtral", "FastConformer", "OpenMDW-1.1"]
    )
    print(res.text)

Qué modelo elegir (y cómo los combino)

Cuando calculas el volumen mensual, la diferencia de precio entre estos endpoints se acumula rápidamente:

Con 500 horas al mes (una carga habitual para una red de pódcast o un equipo mediano que archiva llamadas diarias), Nemotron 3.5 Transcribe en DeepInfra cuesta $60/mes al 2026-11-10, en comparación con $105/mes para Voxtral Mini por lotes, $120/mes para Voxtral Small por lotes, $180/mes para la API de GPT y $240/mes para Voxtral Mini Realtime. Con 2,000 horas al mes, Nemotron se ubica en $240/mes, mientras que Voxtral Small alcanza los $480/mes y Voxtral Realtime llega a $960/mes. A menos que proceses más de 10,000 horas al mes u operes bajo normas médicas o legales estrictas que prohíban las API en la nube externas, pagar $0.12 por hora por Nemotron 3.5 alojado es más económico que pagar la electricidad y los costos de ingeniería de mantener tu propio servidor de GPU.

En mi propio flujo de trabajo, no los trato como mutuamente excluyentes. Cuando necesito subtítulos en vivo durante una llamada o una transmisión bilingüe donde los espectadores leen en tiempo real, dirijo los fragmentos de audio en vivo a voxtral-mini-transcribe-realtime-3-0 con un ajuste de retardo de 480ms para que los subtítulos se mantengan ágiles y estables en pantalla. Una vez que termina la llamada y necesito un archivo limpio y fácil de buscar con turnos de palabra precisos a lo largo de una grabación de 50 minutos, envío el archivo de audio guardado a NVIDIA-Nemotron-3.5-Transcribe-30B-A4B por $0.002 el minuto, o a voxtral-small-transcribe-3-0 con una lista context_bias si la conversación estuvo llena de idiomas europeos y nombres de productos personalizados.