SOV-Transcribe-1: idiomas, soporte en Mac, pruebas y límites en tiempo real

Cifras en tablas de clasificación limpias frente a audio real de llamadas y reuniones

Si solo observas las tablas de clasificación estándar de voz a texto, los principales modelos de pesos abiertos parecen casi idénticos. En el índice de tasa de error de palabras de Artificial Analysis (AA-WER), SOV-Transcribe-1 obtiene un 2.28% (mostrado como 2.3% en la tabla pública), ocupando el primer lugar entre los modelos de pesos abiertos y el séptimo en general entre 44 sistemas propietarios y abiertos.

En esa prueba con audio limpio, los tres mejores modelos abiertos se encuentran a menos de medio punto porcentual de distancia entre sí. Voxtral Small de Mistral obtiene un 2.77% activando aproximadamente 24B de parámetros —más de cinco veces el cómputo activo por token de SOV-Transcribe-1— y NVIDIA Nemotron 3.5 Transcribe logra un 2.81% a una escala similar de 4B de parámetros activos. En los subconjuntos individuales de Artificial Analysis, SOV-Transcribe-1 alcanza un 4.1% de WER en Earnings22 (frente al 4.8% de Voxtral Small), un 1.5% en discursos parlamentarios de VoxPopuli (frente al 1.8%) y un 1.8% en conversaciones con agentes de voz de AA-AgentTalk.

El panorama cambia por completo cuando pasas de conjuntos de evaluación limpios a HALAS, una prueba de referencia anotada por humanos y creada específicamente a partir de secciones complejas y propensas a alucinaciones de grabaciones reales de llamadas de resultados financieros.

En HALAS, la tasa de error de palabras de SOV-Transcribe-1 se multiplica por más de once hasta alcanzar el 25.69%. Eso parece alto sobre el papel, hasta que ves lo que le ocurre al resto de los competidores con exactamente el mismo audio: Qwen3-ASR 1.7B cae al 26.01%, Voxtral Small baja al 27.35%, Nemotron 3.5 Transcribe llega al 31.59% y Granite Speech 5.0 2B termina en el 34.51%. Donde la prueba limpia comprimía a todos en un margen de 0.5 puntos, el audio real de llamadas de conferencia abre una brecha de 8.8 puntos entre los principales modelos abiertos. Si quieres ver cómo Mistral y NVIDIA gestionan cargas de trabajo multilingües más amplias y la diarización de hablantes, analicé sus ventajas y desventajas en mi comparativa entre Voxtral 3 y Nemotron 3.5.

Más allá de la tasa general de error de palabras, SOV-Transcribe-1 responde muy bien cuando una transcripción requiere entidades exactas en lugar de solo la idea general de la conversación. En VoiceCodeBench, que evalúa si un modelo puede capturar con precisión números de teléfono, direcciones de correo electrónico y URL hablados, recupera el 93.4% de las entidades y logra una tasa de éxito total en la tarea del 76.3%, ubicándose primero entre los modelos abiertos y segundo entre 23 sistemas en total. En la prueba de diálogos de centros de llamadas de AppTek que abarca 14 acentos del inglés, promedia un 8.21% de WER y registra la tasa de error más baja en ocho acentos, incluidos el inglés indio, singapurense, escocés, británico y australiano.

Corrección de nombres propios mediante sesgo contextual e instrucciones

Dado que SOV-Transcribe-1 utiliza un modelo de lenguaje Gemma 4 como decodificador, no te limitas a enviarle audio sin procesar y esperar lo mejor. Puedes pasar instrucciones en lenguaje natural en el prompt de usuario para controlar el formato, eliminar muletillas verbales, normalizar números hablados a dígitos (22 en lugar de twenty two) o sesgar el decodificador hacia un vocabulario específico.

En reuniones reales, los nombres propios —nombres de ejecutivos, nombres en clave de proyectos internos y referencias SKU de productos— suelen ser lo primero que un modelo ASR distorsiona. Sin ningún contexto en el prompt dentro de la prueba Contextual Earnings-22 (fragmentos de 15 segundos llenos de nombres de empresas y personas), SOV-Transcribe-1 obtiene una puntuación F1 de palabras clave de 71.9.

Cuando incluyes las palabras clave exactas para ese fragmento de 15 segundos en el prompt, el F1 de palabras clave sube a 96.8. Más importante aún, en un flujo de trabajo real rara vez sabes qué nombres aparecerán en cada ventana de 15 segundos. Si vuelcas la lista completa de palabras clave de una llamada de resultados de una hora entera en el prompt —lo que significa que casi todos los términos de la lista son distractores para el fragmento actual—, SOV-Transcribe-1 aún mantiene un F1 de palabras clave de 94.0 sin alucinar los nombres no mencionados en la transcripción.

Para usar ese sesgo global de palabras clave en tus propias llamadas, pasa esta estructura en tu prompt de usuario:

This audio may contain the following words or phrases (some may not be present in the clip): {keyword_list}. Transcribe the English audio into text, ensuring all punctuation marks are included.

Si prefieres una transcripción limpia sin muletillas como "um" y "uh" en lugar del resultado literal predeterminado, cambia el prompt por:

Transcribe the audio, omitting fillers and accidental repetitions while preserving the remaining words. Use punctuation and capitalization. Output only the transcript.

Requisitos de GPU, configuración de vLLM y soporte en Mac

Aquí está la limitación de hardware que deja a SOV-Transcribe-1 fuera de las computadoras portátiles de consumo. Aunque solo se activan 4.6B de parámetros en cada token, la GPU aún debe mantener los 26.6B de parámetros en memoria. El modelo se distribuye en 16 fragmentos safetensors en formato BF16 que suman aproximadamente 53 GB en disco, con el enrutador MoE ejecutándose en FP32 para garantizar la estabilidad numérica.

En la práctica, ejecutarlo en una sola GPU requiere una tarjeta de estación de trabajo o centro de datos de 80 GB o 96 GB, como una NVIDIA A100 80GB, H100 80GB o la RTX PRO 6000 Blackwell de 96 GB que Salesforce utilizó en sus pruebas de rendimiento oficiales de lanzamiento. En una RTX PRO 6000 combinada con el modelo borrador de decodificación especulativa de Salesforce (SOV-Transcribe-1-DFlash, que propone 15 tokens a la vez para acelerar de 2x a 3x las solicitudes individuales), el modelo procesa hasta 1,039 segundos de audio por segundo y devuelve un fragmento de 30 segundos en 0.22 segundos.

Si lo despliegas en tu propio servidor Linux, ten cuidado con tres detalles críticos de configuración documentados en la ficha del modelo:

• Fijación de versiones del complemento: El soporte nativo en vLLM y Transformers aún se está integrando en las ramas principales. Por ahora, debes instalar el directorio vllm_plugin/ desde el repositorio (que fija vLLM 0.32.0) o ejecutar transformers>=5.19,<5.23 con trust_remote_code=True (o bien usar la función independiente transcribe_hf de la ficha del modelo si tu política de seguridad bloquea el código remoto).
• El límite de truncamiento de 10 minutos: Cuando inicias el servidor mediante vllm serve salesforce-sovereign-intelligence/SOV-Transcribe-1 --max-model-len 32768, el endpoint /v1/audio/transcriptions corta el audio a los 600 segundos de forma predeterminada. Para transcribir hasta el límite completo probado de 30 minutos, debes exportar VLLM_MAX_AUDIO_DECODE_DURATION_S=1800 antes de iniciar el servidor.
• Error de memoria insuficiente (CUDA OOM) con el modelo borrador DFlash: Si conectas SOV-Transcribe-1-DFlash para la decodificación especulativa, el valor predeterminado max_num_seqs=1024 de vLLM superará el límite de tu VRAM y provocará un cierre inesperado. Reduce max_num_seqs a 64.

Soporte no confirmado para Mac y Apple Silicon

En este momento, no existe soporte oficial para Apple Silicon: no hay adaptación a MLX, ni pesos para Core ML, ni cuantización GGUF oficial para llama.cpp. Dado que solo los pesos sin cuantizar ocupan 53 GB, un MacBook Pro estándar de 16 GB, 24 GB o 36 GB no puede cargar el modelo en BF16. Aunque un Mac Studio o MacBook Pro con 64 GB a 128 GB de memoria unificada tiene en teoría suficiente RAM para alojar los pesos, la ejecución local en macOS de la canalización de proyección personalizada Whisper-plus-Gemma-4-MoE sigue sin confirmarse hasta que las versiones oficiales de Transformers o MLX añadan soporte nativo y cuantización de 4 bits para esta arquitectura de audio.

Límites conocidos y qué usar en su lugar para subtítulos en vivo

Incluso si tienes listo un servidor NVIDIA de 80 GB, SOV-Transcribe-1 presenta algunos límites operativos que debes tener en cuenta:

Primero, no genera etiquetas de diarización de hablantes (Speaker 1, Speaker 2) de forma predeterminada, y cualquier grabación que supere los 30 minutos debe dividirse en los intervalos de silencio antes de enviarla al modelo.

Segundo, debes ejecutar una decodificación voraz (temperature=0.0, do_sample=False) con el modo de pensamiento desactivado explícitamente (enable_thinking=False) y max_new_tokens=8192. Incluso con decodificación voraz, el decodificador Gemma 4 puede caer ocasionalmente en un bucle de repetición donde repite una frase corta hasta alcanzar el límite de 8,192 tokens. Para entornos de producción, necesitarás aplicar una expresión regular o un script posterior (similar al script de limpieza del paquete de herramientas Qwen3-ASR) para eliminar las cadenas repetidas al final.

Por último, dado que SOV-Transcribe-1 funciona solo por lotes y requiere VRAM de centro de datos, no es la herramienta adecuada si solo buscas subtítulos en vivo o subtítulos traducidos en tu pantalla durante una reunión. Si usas Mac o PC y necesitas subtítulos funcionales hoy mismo, tienes tres opciones prácticas según tu flujo de trabajo:

Si solo necesitas subtítulos básicos en inglés para el audio del sistema en un Mac con Apple Silicon, activa la función integrada Subtítulos en vivo de macOS en Ajustes del Sistema; es completamente gratuita, aunque no permite exportar transcripciones ni traducir otros idiomas. Si solo transcribes archivos de audio pregrabados sin conexión en tu Mac y no necesitas transmisión en tiempo real, MacWhisper ejecuta muy bien modelos locales Whisper y Parakeet, con un nivel gratuito para los modelos básicos y una licencia Pro de pago único para los modelos más avanzados.

Si necesitas subtítulos continuos en tiempo real, traducción bilingüe en vivo y transcripciones guardadas durante llamadas de Zoom, Teams o navegador sin invitar a un bot a la reunión ni alquilar una GPU de 80 GB, usa Vocena. La creé para quienes necesitan subtítulos de escritorio instantáneos y traducción en decenas de idiomas directamente sobre la ventana de su reunión activa. Puedes usar los subtítulos en vivo principales de Vocena de forma gratuita, mientras que sus planes de pago desbloquean horas de traducción extendidas y exportación completa de transcripciones. Para un análisis más detallado de cómo se comparan las herramientas de escritorio en macOS, consulta mi guía comparativa de aplicaciones de subtítulos en vivo para Mac.