Even Realities G2のライブ翻訳と字幕:表示仕様・設定・対処法
Even Realities G2のレンズとスマホアプリで同一言語のライブキャプションと双方向翻訳がどう分けられるか、翻訳テキストが表示されない問題や騒音下でのマイク設定の解決法を解説します。
要点
- Even Realities G2のレンズには「From」から「To」方向の翻訳のみが表示されます。
- 同一言語のライブキャプションは、Conversateで文字起こしを有効にするか、Translateで入出力を同じ言語に設定すると利用できます。
- 翻訳中にレンズに何も表示されない原因の多くは、言語方向の逆転やレンズ非対応の文字(アラビア語、ベンガル語、ヒンディー語)です。
- セッション開始前に音声入力をメガネからスマホに切り替えると、騒がしいカフェや広い会議室での音声途切れを解消できます。
バイリンガルでの会話のためにEven Realities G2を装着すると、最初に戸惑うのが会話の半分がレンズから消えてしまうことです。相手が外国語で話しかけてくると、視界の中に緑色の字幕が鮮明に浮かび上がります。ところが、双方向翻訳を試そうとして自分の言語で返答すると、ウェーブガイドディスプレイには何も表示されなくなり、代わりにスマートフォンの画面にテキストが点灯します。
メガネを開封したばかりの時や、Even Realitiesアプリをアップデートした直後であれば、Bluetoothの通信途切れやマイクの故障のように見えるかもしれません。しかし、実際にはどちらでもありません。G2には厳格な画面分割の表示ルールが組み込まれており、装着者が視界の中で読むべき内容と、目の前にいる相手がスマートフォン上で読むべき内容を明確に分けているのです。
グリーンのマイクロLEDプロジェクターとスマートフォンアプリの間でテキストがどのように振り分けられるかを理解すれば、ライブキャプション機能も異言語間の翻訳機能もはるかに使いやすくなります。以下では、レンズ上での同一言語のキャプションとリアルタイム翻訳の違い、双方向翻訳で自分の返答がHUD(ヘッドアップディスプレイ)から非表示になる理由、相手が話しているのに画面に何も表示されない場合のトラブルシューティング、そして騒がしい室内でフレーム内蔵マイクが機能しなくなった際のマイク設定方法について解説します。
このページの内容
G2レンズにおける同一言語キャプションとライブ翻訳の違い
Even Realities G2は、ダッシュボードメニューにあるConversateとTranslateという2つの独立したツールでライブテキストを処理します。どちらも視野角27.5度のウェーブガイドディスプレイに640×350の緑色のテキストを投影します。G2にはスピーカーが一切内蔵されていないため、AirPodsとiPhoneのライブ翻訳やMoto Buds Ultra 27のライブ翻訳のように耳元へ音声を流すのではなく、完全に無音の視覚的な字幕のみで情報を伝えます。
話された英語を英語のテキストに、あるいはスペイン語をスペイン語のテキストにするといった、アクセシビリティ目的や早口な話者を聞き取るための同一言語ライブキャプションを利用したい場合、メガネ側で実行する方法は2つあります。
標準的な方法はConversateを開くことです。Even Realitiesアプリ内のConversate設定で、Real-time translationをオフにしたままLive Transcriptionをオンにすると、レンズは専用のキャプションディスプレイとして機能します。目の前の相手が話すとHUD上に文字がスクロール表示され、Even AIを有効にしていれば文脈に応じたAIプロンプトも時折表示されます。2つ目の方法は、Translateを開き、From(認識言語)とTo(表示言語)の両方にEnglish -> Englishのように全く同じ言語を設定することです。AIのトピックカードでレンズが煩雑になるのを避けたい場合や、終了したセッションをアプリ内のTranslate > Recordsに自動保存してPDF、DOCX、TXTファイルとして書き出したい場合は、同一言語のキャプションであってもTranslateツールを使う方が便利です。
Even Realities Translateで異言語間の翻訳に切り替えると、翻訳元と翻訳先の言語に合わせてレンズのレイアウトが変化します。翻訳セッションの実行中に、テンプル後方のタッチパッドをシングルタップ(または別売りのR1スマートリングを親指でタップ)すると、メガネの表示を以下の2つのビュー間で切り替えられます。
Translation only(翻訳のみ)は、翻訳後の出力言語のみを表示するコンパクトなハーフスクリーンレイアウトを使用します。視界の上半分がクリアに保たれるため、テキストの壁に遮られることなく相手の顔を直接見ることができます。
Original + translation(原文+翻訳)は、レンズ全体をフルスクリーンレイアウトに広げ、認識された翻訳元言語のテキストを上段に、翻訳されたターゲット言語をそのすぐ下に並べて表示します。話されている言語をある程度理解できており、翻訳のレンダリングが完了する前に固有名詞や専門用語を把握したい場合に、このフルスクリーン表示が役立ちます。
双方向翻訳の表示がレンズとスマートフォンに分かれる理由
G2で最も混乱しやすいのが、アプリ内で双方向矢印が付いた言語ペアを使用してリアルタイムの双方向翻訳を行う時です。
たとえば、英語話者が日本語を話す同僚と会話するとします。Even RealitiesアプリでTranslateを開き、Fromを日本語、Toを英語に設定してStartをタップします。アプリのヘッダーには、JA -> EN(入力言語から出力言語)とEN -> JA(出力言語から入力言語)という2つの方向タブが表示されます。
同僚が日本語を話すと、G2は入力言語を認識し、英語の翻訳をレンズに直接投影します。続いて英語で返答すると、システムはその発話を認識して日本語に翻訳しますが、メガネには何も表示されません。その代わり、英語の発話と日本語の翻訳はスマートフォンの画面上のEven Realitiesアプリ内にのみ表示されます。
Even Realitiesの公式サポートドキュメント「Translate Shows No Translated Text on G2」でも、逆方向の翻訳がスマートフォンに表示されてメガネに表示されない場合、Translateは仕様どおり正常に動作していると明記されています。
その理由は光学的な構造にあります。ウェーブガイドレンズは、装着者1人だけが見えるプライベートなヘッドアップディスプレイです。極端な角度からメガネを見た時にかすかな緑色の光が見えるのを除けば、目の前に立っている相手にはレンズに投影された内容は一切見えません。自分が話した英語の日本語訳を自分の目の前に表示しても、日本語を話す同僚の理解には全く役立たず、640×350の限られたディスプレイ領域が今自分で口にしたばかりのテキストで埋まってしまうだけです。
実際に双方向の会話を行うには、G2を装着して相手の発言を読みつつ、スマートフォンをテーブルに置くか相手に向けて持ち、翻訳された返答を相手に読んでもらいます。アプリ画面の上部にあるフィルターをAllのままにして双方のテキストを表示させることもできますし、Output language -> input language(この例ではEN -> JA)をタップして、スマートフォンの画面にこちらの翻訳結果だけを相手が読みやすいすっきりしたブロックで表示させることも可能です。これはGoogle翻訳の会話モードを使う際のスマートフォンの配置方法とよく似ています。
「G2で翻訳テキストが表示されない」問題の対処法
逆方向の翻訳がHUDに表示されないのは正常な動作ですが、相手が翻訳元の言語を話しているにもかかわらずレンズに何も表示されないケースも少なくありません。順方向であるFrom -> Toの翻訳テキストが表示されない場合は、以下の5つの確認事項を順番にチェックしてみてください。
- From/Toの方向とメガネのメニューから起動したかどうかを確認する: メガネ側のメニュー(タッチパッドの長押しまたはダブルタップ後、Translateへスワイプしてシングルタップ)や音声コマンド(
"Hey Even, start Translate")からTranslateを起動した場合、G2は前回使用した言語ペアを自動的に読み込みます。もし前回のセッションがEnglish -> Spanishに設定されていた状態でスペイン語話者が話しかけてくると、メガネはそのスペイン語を逆方向の音声として扱い、英語の翻訳をスマートフォンの画面にのみ送信します。また、起動中のメガネ側Translateメニュー内で誤ってDisplay offがオンになっていないかも確認してください。これがオンになっていると、スマートフォンアプリでセッションが継続していてもレンズは消灯したままになります。 - 選択した地域言語が双方向翻訳に対応しているか確認する: Even Realitiesアプリ内のすべての言語が双方向認識に対応しているわけではありません。公式のEven Realities言語サポート一覧によると、双方向翻訳に対応しているのは以下の30の主要言語です。カタルーニャ語、中国語(簡体字)、クロアチア語、チェコ語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語、フランス語、ドイツ語(ドイツ)、ギリシャ語、ハンガリー語、インドネシア語、イタリア語、日本語、韓国語、ラトビア語、リトアニア語、ノルウェー語、ポーランド語、ポルトガル語(ポルトガル)、ルーマニア語、ロシア語、スペイン語、スロバキア語、スロベニア語、スウェーデン語、トルコ語、ウクライナ語。もし中国語(繁体字)、ポルトガル語(ブラジル)、ドイツ語(スイス)を選択した場合、双方向モードは無効化され、システムは厳密な片方向翻訳に切り替わります。
- レンズ非対応の文字(アラビア語、ベンガル語、ヒンディー語)でないか確認する: Even Realitiesの音声エンジンとモバイルアプリは35以上の言語を認識しますが、G2本体に搭載されたマイクロLEDのフォントライブラリは、アラビア語、ベンガル語、ヒンディー語の複雑な文字体系をウェーブガイドレンズ上に描画できません。出力先の言語をアラビア語、ベンガル語、またはヒンディー語に設定した場合、翻訳はスマートフォンの画面には正常に表示されますが、メガネのディスプレイには何も表示されません。
- 開始前にVoice Inputの設定とマイク権限を確認する: アプリのTranslateホーム画面右上にあるSettingsをタップし、Voice Inputを確認します。ここではGlassesまたはPhoneを選択できます。G2はセッション途中のマイク切り替えに対応していないため、Startをタップする前に入力デバイスを選択しておく必要があります。以前のテストで設定した
Phoneマイク設定が引き継がれており、スマートフォンがポケットやバッグの中でロックされている場合、マイクは相手の声を拾えません。同様に、初めてPhoneを選択した際には、iOSまたはAndroidからEven Realitiesアプリへのマイクアクセス許可を求めるプロンプトが表示されます。この権限が拒否されていると、Translateは無音のまま動作し、テキストは一切出力されません。 - アプリの強制終了とテンプルの5回タップによるハードウェアリセットを実行する: スマートフォンアプリの画面上では
From -> To方向の文字起こしがリアルタイムで進んでいるのに緑色のHUDが更新されない場合は、アプリとテンプルのプロジェクター間のBluetooth Low Energy接続がフリーズしています。セッションを終了し、Even Realitiesアプリを強制終了して開き直した上で、確認音が鳴るまで左右両方のテンプル先端(カプセル部分)にあるタッチパッドを素早く連続5回タップしてメガネを再起動してください。再起動とファームウェアの確認を行ってもテキストが投影されない場合は、メガネを接続した状態でアプリのHelp & Feedback > Upload Logsから診断ログを送信してください。
騒がしい場所や広い会議室で確実に機能するマイク設定
設定が正しく行われていても、Even Realities G2における最大の制約となるのがマイクの物理的特性です。フレームを一般的な度付きメガネのように見せるため、Even Realitiesはスリムなフロントフレームと金属製テンプルの先端にあるカプセル部分にマイクアレイを組み込んでいます。これらのマイクは装着者の頭部のすぐ近くに位置しているため、自分の声は難なく拾えますし、静かなオフィスであれば約1メートル(3フィート)以内の小さなテーブル越しに座っている相手の声も捉えることができます。
しかし、騒がしいカフェや混雑したレストラン、展示会場などに入ると、この約1メートルの集音範囲は機能しなくなります。周囲の話し声やBGMが目の前で話している相手の声とほぼ同じ音量でテンプルのマイクに入り込むため、クラウド音声認識が停滞したり、文の半分が抜け落ちたり、翻訳テキストの出力が完全に止まったりしてしまいます。
騒がしい室内でG2を使用する際は、メガネ内蔵のマイクを使わないのが鉄則です。セッションを開始する前に、Even RealitiesアプリでTranslate > Settings > Voice Inputを開き、入力元をGlassesからPhoneに切り替えます。翻訳を開始したら、スマートフォンを相手に近いテーブルの上に平らに置くか、2人の間の胸の高さで保持します。最新のスマートフォンは、極薄のメガネフレームよりもはるかに優れた指向性ビームフォーミングマイクとハードウェアノイズ抑制機能を備えています。スマートフォンがクリアな音声を捉えてクラウドモデルに送信し、翻訳された字幕をBluetooth経由でG2のレンズに送り返すため、相手の顔を見ながら字幕を読むことができます。
同じ手法は、広い会議室や講義室でも有効です。大音量のPAシステムを使っていない発表者から4列後ろの席に座っている場合、G2のテンプルマイクでは発表者の声をほとんど拾えません。Voice InputをPhoneに切り替え、座席からBluetoothが届く範囲内で前方の演台や会議テーブルにスマートフォンを置いておけば、スマートフォンをメガネ用のワイヤレスピンマイクとして活用できます。もし発表者の近くにスマートフォンを置けない場合は、座席から講義のライブキャプションを表示するために設計されたノートパソコンやスマートフォンの内蔵ツールを使用する方が効果的です。
また、混雑した会場ではネットワーク接続にも注意が必要です。デバイス上のローカルモデルで動作するオフライン文字起こしツールとは異なり、G2はスマートフォン経由でクラウドAIモデルに音声を送信します。会議場のWi-Fiでパケットロスが発生すると、レンズ上の緑色の字幕が5〜10秒間フリーズし、その後大量のテキストの塊が一度に表示されるといった現象が起きます。混雑した公衆Wi-Fiをオフにし、安定した5Gモバイル通信に切り替えると、通常はこの遅延がすぐに解消されます。
スマートグラスよりソフトウェアが適している場面:MacとiPhoneでVocenaを使う
$599のEven Realities G2のようなスマートグラスは、「外国語での対面会話中に顔を上げ、アイコンタクトを保つ」という非常に特定の課題を解決してくれます。一方で、コンピュータの音声を扱う場面やリモートビデオ通話、あるいは小さなテンプルマイクやクラウドの遅延が妨げになる数時間に及ぶセミナーなどには不向きです。
デスクに座ってヘッドホンを着け、Zoom、Microsoft Teams、Google Meetで国際会議に参加している場合、G2にはコンピュータの内部音声を取り込む手段がないため、会議の音声を全く聞き取ることができません。また、たまにある会議や授業、旅行の時にだけライブキャプションやバイリンガル翻訳が必要なのであれば、ウェーブガイドフレームに$599(度付きレンズが必要な場合はさらに$159〜$349)を費やすのは大げさと言えます。
追加のアイウェアハードウェアを使わずに、デスクトップでの会議やオンライン講座、スマートフォンベースのライブキャプションを行うには、MacとiPhoneで使えるVocenaが適しています。小さなオープンエアマイクに頼ったり、OtterやFirefliesのように通話へ会議ボットを参加させたりする代わりに、Vocenaは仮想オーディオドライバ不要でmacOS内部のシステム音声やアプリ音声を直接キャプチャし、対面時にはiPhoneのマイクを使用します。
ハードウェアHUDと専用のソフトウェアキャプションツールのどちらを選ぶか検討する際の、Vocenaの特徴は以下のとおりです。
対象ユーザー: ヘッドホンを装着したままZoom、Teams、Meetの通話でライブ字幕やバイリンガル翻訳を必要とするリモートワーカー、字幕のない外国語の講義を視聴する学生、そしてウェーブガイドグラスをかけずにiPhoneやMacの画面上で見やすくスクロールする文字起こしを読めれば十分な旅行者。
無料で使える機能: Vocenaのリアルタイムなローカル音声認識と同一言語のライブキャプションは永久に無料で、月間の時間上限や30分ごとのセッション切断もありません。
有料版の機能: Vocena Pro(買い切りまたはサブスクリプションで利用可能)にアップグレードすると、リアルタイムのバイリンガル並列翻訳、AIによる会議の要約と重要ポイントの抽出、マルチトラック音声録音、そしてDOCX、PDF、Markdown形式での全文書き出しが利用可能になります。
展示会のブースに立ったり、ポケットから画面を取り出さずに海外のカフェで注文したりすることが日常のワークフローであれば、騒がしい場所でのスマートフォンマイク設定と組み合わせたEven Realities G2は、ソフトウェアだけでは再現できない体験をもたらしてくれます。しかし、異言語間の会話の大半がノートパソコンの画面越しや、すでにスマートフォンやMacを目の前に開いている会議テーブルの周りで行われるのであれば、普段持ち歩いているデバイス上でローカルファーストのキャプションアプリを実行する方が、ウェーブガイドディスプレイの制限を受けることなく、よりクリアな音声キャプチャと完全な2言語表示を得られます。