Voxtral 3の音声認識：Nemotron 3.5との精度・多言語・文字起こし比較

対応言語：バッチとリアルタイムの違い

両モデルとも幅広い多言語対応を謳っていますが、正確な対応言語リストは呼び出すエンドポイントや、話者が文の途中で言語を切り替える（コードスイッチングを行う）かどうかによって異なります。

MistralのAudio Studioドキュメントによると、voxtral-small-transcribe-3-0とvoxtral-mini-transcribe-3-0は欧州連合（EU）の公用語全24言語を含む50以上の言語をサポートしています。事前に言語タグを渡す必要はありません。参加者がフランス語、ドイツ語、オランダ語、英語を切り替えて話す通話など、複数の欧州言語が混在する録音データを自動言語検出を有効にしてvoxtral-small-transcribe-3-0に入力したところ、45言語のFLEURSベンチマーク全体で4.0%の単語誤り率（WER）を維持しました。より小規模な4Bモデルのvoxtral-mini-transcribe-3-0も、10分あたりのコストが0.5セント安いながら4.5%と僅差で続いています。一方、同じ多言語テストにおいてWhisper large-v3は14.9%にとどまります。これは最初の30秒間でハルシネーション（幻覚）を起こしたり、誤った言語トークンに固定されたりする現象が頻発するためです。

Voxtral 3の注意点は、録音ファイルからライブキャプションに移行すると対応言語数が減ることです。バッチ用エンドポイントが50+言語を処理できるのに対し、voxtral-mini-transcribe-realtime-3-0がサポートするのは35+言語となります。主要な欧州言語やアジア言語は網羅されていますが、比較的小規模なEU言語や地域言語でライブキャプションを実行する場合は、ライブWebSocket統合に踏み切る前に、対象言語がリアルタイム用の35言語のサブセットに含まれているかを確認する必要があります。

Nemotron 3.5 Transcribeは、文字起こし対応の40言語（および音声テキスト翻訳の31言語）において異なる地域アプローチをとっています。英語や主要な欧州言語と並び、NVIDIAは7つのインド系言語でモデルを重点的にトレーニングしました。ヒンディー語、タミル語、あるいは南アジア地域の日常会話に英語の専門用語が混ざる録音データでテストしたところ、Nemotron 3.5は英語の名詞を現地の表音文字に無理に音訳したり、その逆を行ったりすることなく、コードスイッチングをきれいに処理しました。さらに、NVIDIAはHugging Face上でOpenMDW-1.1ライセンスのもと、NeMo Speechによる完全なトレーニングサポート付きでウェイトを公開しているため、依然としてエラー率が高くなる地域方言を扱うチームは独自の音声データでモデルをファインチューニングできます。MistralがVoxtral 2のオープンウェイトからVoxtral 3ではAPI専用のクローズドウェイトへと移行した現在、これはVoxtral 3では不可能なアプローチです。

発話の重なり、訛りのある通話、TTSスクリプトの検証

ベンチマークの単純な平均値を見ても、日常業務で文字起こしが失敗する理由はほとんどわかりません。長時間の録音データを両方のモデルで処理してみると、実際の違いは「複数人の割り込み発話」「雑音や訛りのある電話音声」「厳密な専門用語チェック」という3つの具体的な場面で現れます。

複数話者の重なりと話者分離

過去3年間、会議の文字起こしにWhisperを使用するということは、テキスト化にWhisperを実行し、話者クラスタリングにpyannote.audioやWhisperXを実行して、タイムスタンプが一致することを祈るという2つの別々のパイプラインをつなぎ合わせることを意味していました。この構成はGPUメモリを2〜3倍消費するうえ、30秒のチャンク境界で2人が同時に話すと破綻してしまいます。

Nemotron 3.5 Transcribeは、二次的なダイアライゼーションパイプラインを完全に不要にします。Nemotron 3のダイアライゼーションモジュールをモデルアーキテクチャに直接統合しており、単一パスで最大60分の連続音声を受け付けます。45分間の複数人による録音データを渡すと、1回のフォワードパスで<speaker_0>や<speaker_1>のタグが付与された単語レベルのタイムスタンプが返されます。30秒ごとにリセットするのではなく1時間全体にわたって音響コンテキストを追跡するため、通話の途中で話者の識別が入れ替わることがなく、背景ノイズに惑わされて架空の<speaker_3>を作り出してしまうこともありません。

Voxtral 3も、voxtral-small-transcribe-3-0とvoxtral-mini-transcribe-realtime-3-0の両方にネイティブのダイアライゼーション機能を備えています。Voxtralが際立っているのは、ライブ会話におけるターンテイキング（発話権の交代）の処理です。リアルタイムモデルは音響的なポーズ検出と意味的文脈を組み合わせて、発話終了（エンドオブターン）イベントを予測します。たとえばサポート通話で、発信者が12桁の口座番号を読み上げる途中に丸1秒間言葉に詰まったとしても、Voxtralのリアルタイムストリームは文が文法的に未完了であることを認識し、文字起こしの行を分割したり音声ボットに発信者の話を遮らせたりせず、発話ターンを維持します。

訛りのある会議と雑音の多い電話音声

ほぼすべての音声モデルは、クリアなスタジオ収録の朗読音声では2%未満のWERを記録しますが、「うん、うん」といった相槌や言い直し、Bluetoothマイクの圧縮ノイズにあふれた実際の2者間通話になると、エラー率が2倍から3倍に跳ね上がります。

クリアな音声クリップと未加工の電話会話トラックの両方でテストすると、劣化した音声に対してより安定しているのはNemotron 3.5 Transcribeです。エラー率はクリアな短尺クリップでの1.89%に対し、未編集の2者間電話会話でも3.03%（全体平均2.28%）にとどまります。一方、クリアな音声で1.55%–1.77%を記録する競合の商用モデルは、実際の電話回線では3.8%–4.8%以上に悪化します。NemotronのMamba-Transformerバックボーンは、突発的なノイズや強い地域特有の訛りが原因でデコーダが同じ5語のフレーズを20回連続で繰り返してしまうような、Whisper特有の典型的な破綻モードに対して高い耐性を備えています。

クリアな環境や中程度のノイズがある社内会議、特に決算説明会、ウェビナー、多様な訛りを持つ欧州チームの会議などでは、voxtral-small-transcribe-3-0が66.7x〜76.5xの高速処理を維持しつつ、2.1%のWER（Miniでは2.2%）でわずかにリードします。

専門用語の制御とTTSスクリプトの検証

日常的に実行しているワークフローの1つに、自動化された音声品質保証（QA）があります。これは、オーディオブック、ローカライズされた動画の吹き替え、あるいはvoxtral-mini-tts-3-0のようなTTS（テキスト読み上げ）モデルで生成された音声エージェントのプロンプトなどの合成音声トラックを再度テキストに文字起こしし、TTSエンジンが音節を飲み込んだり、「not」のような否定語を読み飛ばしたり、医薬品名を誤って発音したりしていないかを検証する作業です。

Voxtral 3とNemotron 3.5は、専門用語の処理と検証に対して対照的な2つのアプローチを提供しています。

Voxtral 3では、両方のバッチモデルがContext Biasing（コンテキストバイアシング）をサポートしています。製品のSKU、役員名、APIの関数名、医薬品用語などのカスタム文字列のJSON配列を、ファインチューニングなしでリクエストペイロードに直接渡すことができます。このキーフレーズリストを追加することで、希少なドメイン固有語に対するVoxtral Smallの再現率（リコール）は81.4%から94.6%へと向上します。すべての製品名を最初から正しい綴りで文字起こししたい技術会議などでは、Voxtralのcontext_biasパラメータが最も手早い解決策になります。

ただし、TTS音声ファイルを元のスクリプトと照合して検証する場合は、Context Biasingの扱いに注意が必要です。スクリプト全体をバイアスリストに入力してしまうと、実際の音声では不明瞭に発音されていたTTSの単語まで認識器が自動補正してしまう恐れがあります。そのため、TTSの検証や厳格なコンプライアンス業務には、Nemotron 3.5 TranscribeのPrompt Steering（プロンプトステアリング）を使用するのが適しています。Nemotronのデコーダは30B-A3B言語モデルをベースに構築されているため、音声リクエストの先頭に付加された自然言語のシステム指示に従います。TTSの品質チェック用には言い淀みや正規化されていない数値を含む厳密な逐語記録（ケバ取りなし）を出力するよう指示し、次の呼び出しではプロンプトを切り替えて、クライアント向けの要約用にフィラー（不要語）を除去し話者ラベル付きの整った段落にフォーマットさせるといった使い分けが可能です。

バックエンドを構築せずに両モデルをセットアップする方法

Nemotron 3.5 Transcribeはトークンあたり4.3Bのパラメータのみをアクティブ化するオープンウェイトのMoEモデルですが、30Bのモデルウェイト全体をメモリに読み込むには依然として20GB以上の静的VRAMを消費します。RTX 3090やRTX 4090を搭載したデスクトップワークステーション、あるいはバッチ処理専用の32GB+のユニファイドメモリを搭載したMacを所有していない限り、ローカルでの実行はオーバースペックです（一般的なノートPCで軽量なローカルGPUストリーミング音声入力を行いたい場合は、Hex 3.0ローカル音声入力に内蔵されている160MBのParakeetモデルのほうがコンシューマー向けハードウェアにははるかに適しています）。

それ以外の環境でも、GPUサーバーを1台もプロビジョニングすることなく、既存のデスクトップ文字起こしアプリや10行のスクリプトからNemotron 3.5とVoxtral 3の両方を今すぐ利用できます。

オプション1：ホスト型エンドポイントをデスクトップアプリに接続する

ローカルのMP3、WAV、MP4録音データの文字起こしにBuzzやMacWhisperなどのデスクトップクライアントをすでに使用している場合、カスタム音声エンドポイントに対応した任意のクライアントをDeepInfraでホストされているnvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4Bインスタンスに直接向けることができます。

クライアントのAPI設定でカスタムBase URLをhttps://api.deepinfra.com/v1/openaiに設定し、DeepInfraのAPIキーを貼り付けて、モデルID文字列にnvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4Bを指定します。これにより、バックエンドのコードを一切書くことなく、2026-11-10時点で1分あたり$0.002（1時間あたり$0.12）という、GPTの旧API料金（$0.006/min）の3分の1のコストで最大60分の単一パス文字起こしが利用可能になります。

オプション2：Prompt SteeringとContext Biasingのための直接Python呼び出し

Vocenaクラウドモデルによる話者分離のための自然言語プロンプト制御や、カスタム専門用語のためのcontext_biasリストを使用したい場合、標準的なGPTラッパーUIではそれらの追加フィールドが非表示になっていることがあります。ローカルのPythonスクリプトから各RESTエンドポイントを直接呼び出す構成であれば、1分もかからずにセットアップできます。

60分間の会議録音をNemotron 3.5 Transcribeで処理し、逐語的な話者ラベルとタイムスタンプを取得するコードは以下のとおりです。

import requests

url = "https://api.deepinfra.com/v1/inference/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B"
headers = {"Authorization": "Bearer YOUR_DEEPINFRA_API_KEY"}

with open("quarterly_review.mp3", "rb") as audio_file:
    files = {"audio": audio_file}
    data = {
        "prompt": "Transcribe this recording verbatim with speaker attribution and word-level timestamps. Do not normalize technical terms."
    }
    response = requests.post(url, headers=headers, files=files, data=data)
    print(response.json())

Mistralのvoxtral-small-transcribe-3-0でcontext_biasを介してカスタムドメイン語彙を指定して録音データを処理するコードは以下のとおりです（パイプラインの挙動を予測可能に保つため、-latestエイリアスではなく正確なモデルIDであるvoxtral-small-transcribe-3-0を固定してください）。

import os
from mistralai import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

with open("product_sync.mp3", "rb") as f:
    res = client.audio.transcriptions.complete(
        model="voxtral-small-transcribe-3-0",
        file={"content": f, "file_name": "product_sync.mp3"},
        context_bias=["Nemotron", "Voxtral", "FastConformer", "OpenMDW-1.1"]
    )
    print(res.text)

どちらのモデルを選ぶべきか（および両者の併用方法）

月間の処理量で計算すると、これらのエンドポイント間の価格差は急速に広がります。

月間500時間（ポッドキャストネットワークや日々の通話をアーカイブする中規模チームの一般的な負荷）の場合、2026-11-10時点でDeepInfra上のNemotron 3.5 Transcribeは**$60/monthであるのに対し、Voxtral Miniバッチは$105/month**、Voxtral Smallバッチは**$120/month**、GPT APIは**$180/month**、Voxtral Mini Realtimeは**$240/monthかかります。月間2,000時間では、Nemotronが$240/monthに収まる一方、Voxtral Smallは$480/month**、Voxtral Realtimeは**$960/month**に達します。月間10,000時間以上を処理する場合や、外部クラウドAPIを禁止する医療・法務上の厳格な規制下で運用する場合を除けば、ホスト型のNemotron 3.5に1時間あたり$0.12を支払うほうが、自前のGPUサーバーを稼働させる電気代やエンジニアリングのオーバーヘッドを負担するよりも安価に済みます。

実際のワークフローでは、この2つを排他的なものとしては扱っていません。通話中やバイリンガル配信で視聴者がリアルタイムに字幕を読む必要がある場面では、ライブ音声チャンクを480msの遅延設定でvoxtral-mini-transcribe-realtime-3-0にルーティングし、画面上のライブキャプションの応答性と安定性を保ちます。そして通話が終了し、50分間の録音全体にわたって正確な話者交代を含むクリーンで検索可能なアーカイブが必要になったら、保存した音声ファイルを1分あたり$0.002のNVIDIA-Nemotron-3.5-Transcribe-30B-A4Bに送信します。あるいは、会話に多くの欧州言語やカスタム製品名が含まれていた場合は、context_biasリストを付与してvoxtral-small-transcribe-3-0に送信するようにしています。