Table of Contents

ヘッドセットの画面録画：没入型 AR/MR 体験の記録

拡張現実（AR）または複合現実（MR）ヘッドセットを使用した開発、テスト、またはユーザーサポートにおいて、画面録画は問題を再現・分析するための重要な手段です。しかし、モバイルデバイスとは異なり、ヘッドセットの画面録画はパススルー（Passthrough）、注視点レンダリング（Foveated Rendering）などの特殊技術が関与し、録画された画面は通常、ユーザーの両目が直接見る完全な立体視野と完全には一致しません。したがって、録画内容を解釈する際には、実際の人間の目の体験との差異に特に注意する必要があります。

なぜヘッドセットの画面録画には視覚的差異が生じるのか？

ユーザーは特に注意が必要です：ヘッドセットデバイスの録画画面は、レンズの後ろで見ている実際の画面と完全には同じではありません。録画で異常を発見した場合は、必ず実際の感覚に基づいて説明し、開発者を誤解させないようにしてください。

主な差異点は以下の通りです：

  1. 解像度と鮮明度の差異

    • 録画：通常、片目（例：左目）の 1080p またはそれ以下の解像度のビデオストリーム。
    • 人眼：アプリケーションによって異なるが、最新のヘッドセットでは片目解像度が 2K 以上になることもある。
    • 影響：録画で見える文字や画面のぼやけは、ヘッドセット内では存在しない可能性があります。逆に、ヘッドセット内で見える微小なエッジのジャギーは、録画では全く見えないことがあります。

  2. 視野角（FOV）の差異

    • 録画：録画された画面は通常、四角形です。特に広視野角デバイスでは、端の内容が切り取られることがよくあります。
    • 人眼：人間の目が捉える画面は両眼で表示され、視野はより広くなります。
    • 影響：問題が視野の端で発生している場合、録画では正確に再現されない可能性があります。

  3. 注視点レンダリング（Foveated Rendering）の影響

    • 録画：画面全体の視野のすべての内容が含まれ、低解像度の周辺領域も含みます。
    • 人眼：人間の目の注視中心は高解像度ですが、注視中心から外れた周辺部は低解像度です。
    • 影響：実際には画面が非常に鮮明に感じられるのに、録画を見返すと一部の領域がぼやけていることがあります。これは通常、バグではなく正常な現象です。したがって、録画時には必ず提示したい部分に注視し、その領域が鮮明になるようにしてください。

  4. フレームレートとリフレッシュレートの影響

    • 録画：録画ビデオのフレームレートは通常、30FPS または 60FPS で行われます。
    • 人眼：実際の体験における画面のリフレッシュレートは 90Hz または 120Hz に達する可能性があります。
    • 影響：ごくわずかなフレームレートの低下は録画では気づかれないかもしれませんが、人間の目には明らかな「カクつき」や「めまい感」として感じられます。録画は滑らかに見えるが実際の体験はそうでない場合、これは通常、パフォーマンスの問題であり、録画後には必ずその旨を説明してください。

OST ヘッドセットに関する特別な注意点

特に注意：Rokid、Xreal などの AR グラスなど、OST（Optical See-Through, 光学透過型）ヘッドセットを使用している場合、画面録画機能では人間の目が見ている実景の内容を録画することはできません。

OST デバイスとは？

OST デバイスは、半透明の光学レンズを通して光を直接ユーザーの目に投射し、仮想コンテンツはマイクロプロジェクションや導波路を介して視野に重ねられ、ユーザーは実世界と重ねられた仮想画像を同時に見ることができます。外部世界を撮影するカメラは空間位置特定のためだけに使用され、表示には使用されません。このメカニズムにより、デバイス自体は人間の目が見ている実景を「録画」することができません。

OST デバイス画面録画の限界

  • 実景の録画不可：OST デバイスの画面録画機能は、仮想コンテンツ層（GUI、3D モデル、UI ポインタなど）のみを録画します。
  • 背景は黒：このビデオをコンピュータやスマートフォンで再生すると、真っ黒な背景上に浮かんだ仮想オブジェクトが映し出され、実環境の文脈が完全に失われています。
  • 遮蔽関係の喪失：仮想オブジェクトが実オブジェクト（例えば手や机）に遮蔽されるべき場合でも、録画ではそれらが黒い画面の上に浮遊して見え、誤ったレイヤー関係のように見えます。

仮想コンテンツ重畳の視覚誤差問題

理想的な環境下であっても、OST ヘッドセットが提示する仮想コンテンツと実世界との位置合わせには、避けられない程度の視覚誤差が生じます。この種の誤差は常にソフトウェアのバグやトラッキングの失敗によって引き起こされるわけではなく、デバイスの物理的特性と人間の視覚システムの根本的な差異に起因することが多く、現行の技術条件下では一部の誤差を完全に排除することはできません。

フィードバックを提出する際には、以下の状況を区別してください：

  • 光学アライメント誤差：
    • 現象：頭を動かすと、仮想オブジェクトが「浮いている」ように見えたり、実オブジェクトとの位置にわずかなずれが生じたりする。
    • 原因：ユーザーは光学レンズを通して実世界を直接見ており、仮想コンテンツのレンダリング座標系は通常、ヘッドトラッキングと環境理解システム（SLAM など）に基づいて構築されます。光学表示光路と空間位置特定に使用されるカメラ/IMU との間には物理的なオフセットが存在し、サブピクセルレベルの共同キャリブレーションを実現することは困難であるため、特に視野の端や近距離シーンでは実世界と仮想世界の位置合わせが敏感になります。
  • 眼球キャリブレーションの限界：
    • 現象：仮想オブジェクトにゴースト（二重像）が見えたり、エッジがぼやけたり、画像が空間に正しく投射されていないように感じたりする。
    • 原因：OST デバイスは正確な瞳孔間距離 (IPD) と眼球位置のキャリブレーションに極めて依存しています。デバイスがユーザーの目に対して正確に調整されていない場合、またはヘルメットの装着位置がずれた場合、光学エンジンが投射する光線は正確に瞳孔に入りません。しかし、デバイスが調整されていたとしても、その調整プロセスは限られたサンプル点に基づいており、各ユーザーの眼球形状、角膜曲率、視覚知覚習慣を正確に一致させることは困難です。わずかなキャリブレーションの誤差は、仮想オブジェクトの奥行きや横方向の位置に系統的なずれを引き起こします。
  • 個人の視覚的差異：
    • 現象：異なるユーザーによる仮想コンテンツの位置に関する主観的判断は異なる場合がある。
    • 原因：ユーザーごとの視力（近視、乱視など）、動的焦点調節能力などが、仮想コンテンツの重ね合わせ効果の観察に影響を与えます。OST デバイスにはリアルタイムの眼球追跡と個別の光学校正機能が欠けている可能性があり、これらの差異を各ユーザーに対して動的に補償することができません。
  • 環境要因の干渉：
    • 現象：明るい環境下では仮想コンテンツが薄くなり、見えにくくなり、場合によっては見えなくなる。暗い環境下では仮想コンテンツが露出オーバーになり、ゴーストが発生することさえある。
    • 原因：OST デバイスは、マイクロプロジェクションや導波路による仮想光線と実世界の環境光を直接重ね合わせます。実環境が明るすぎると、微弱な仮想光がかき消されます。逆もまた同様です。このような光学アーティファクトは OST デバイスの固有の光学特性です。
注記

この種の誤差は OST AR グラス技術の固有の特性であり、機能障害ではありません。問題の切り分けを行う際には、「修正可能なソフトウェア/トラッキングの問題」と「ハードウェアおよび生理学的制限による体験の限界」を区別してください。ユーザーのフィードバックがわずかな位置ずれ、エッジの歪み、または奥行き知覚の不一致に関わる場合は、まずデバイスの公称使用条件（作業距離、照度範囲、キャリブレーション状態など）内にあるかどうかを確認することをお勧めします。

OST デバイスのフィードバックをどう扱うか？

OST デバイスを使用中に視覚的な問題に遭遇した場合、上記のデバイスの限界に起因する要因を除外した後、画面録画を行ってフィードバックすることができます。しかし、単に録画内容を提出するだけでは通常不十分です：

  1. 写真の併用：スマートフォンを使用して、レンズ越しに見える実際の画面の写真（「アイビュー写真」と呼ばれる）を撮影してください。これにより、仮想オブジェクトと実環境の相対位置を示すことができます。
  2. 環境の説明：OST の表示効果は環境光に極度に依存するため、お使いの環境（照明条件、背景色、歩行者などの動的な存在の有無）を詳細に説明してください。

一般的なヘッドセットデバイスの画面録画方法

注記

画面録画中、デバイスはレンダリングのフレームレートや解像度を下げる可能性があり、滑らかさやトラッキングの安定性の判断に影響を与えます。問題を再現した後はできるだけ早く録画し、長時間の実行による結果への影響を避けることをお勧めします。

Apple Vision Pro

  1. 画面上部を見上げ、コントロールセンターの点が表示されるまで待ちます。その点に注視してクリックします。
  2. コントロールセンター > 「視野を録画」ボタン を注視してタップし、録画を開始します。
  3. 録画を停止するには、コントロールセンターを開き、もう一度「視野を録画」をタップします。
  4. 視野の録画は「写真」App に保存されます。

PICO 4 Ultra Enterprise

  1. コントロールセンター > 設定 > 一般 > ミラーリング、画面録画とスクリーンショット を開き、「画面録画とスクリーンショット」で録画モードを「空間」に選択します。
  2. コントローラーの Home ボタンを短押しし、画面にポップアップするメニューで「画面録画」ボタンを選択し、トリガーを引いて録画を開始します。
  3. システムが開始カウントダウンを表示します。すぐに録画対象アプリのインターフェースに戻り、カウントダウン終了後に自動的に録画が開始されます。
  4. コントローラーの Home ボタンを再度短押し、「画面録画」ボタンを繰り返し選択して録画を停止します。
  5. 録画ファイルはデフォルトでデバイスの「内部ストレージ/DCIM/ScreenRecord」ディレクトリに保存されます。

Rokid AR Studio

  1. デスクトップに移動し、下部のステータスバーにあるユーザーアイコンの横の「クイック設定」領域をタップします。
  2. ポップアップウィンドウで「録画」ボタンをタップし、すぐに録画対象アプリのインターフェースに戻ります。システムが自動的に録画を開始します。
  3. Station Pro の X ボタンを押してデスクトップに戻ります。再度「クイック設定」領域の「録画」ボタンをタップして録画を停止します。
  4. 録画ファイルはデフォルトでデバイスの「内部共有ストレージ/ScreenRecorder」ディレクトリに保存されます。

XREAL Air2 Ultra

  1. Beam Pro の画面を下にスワイプしてグラスのコントロールセンターを呼び出し、上部の「画面録画」ボタンをタップします。
  2. システムがカウントダウンを表示します。すぐに録画対象アプリのインターフェースに戻ります。
  3. 画面上部に浮かぶ赤い「停止」ボタンをタップして録画を停止します。
  4. 録画ファイルはデフォルトでデバイスの「内部共有ストレージ/Movies/Record」ディレクトリに保存されます。

ベストプラクティスの推奨事項

ヘッドセットの画面録画を使用して問題をフィードバックする際には、以下の点に注意してください：

  • 提出時に、デバイスのモデル、録画方法、環境要因を明確に明記してください。
  • 問題が奥行き、遮蔽、またはトラッキングの揺れに関わる場合は、録画では正確に表現できない可能性があるため、人間の目が実際に観察した現象を補足のテキストで説明してください。
  • 重要なシーンについては、ユーザーがヘッドセットを装着して操作している様子を外部カメラで撮影し、より包括的な文脈を提供することもできます。

ヘッドセットの画面録画は便利ですが、常に体験の近似再現に過ぎません。最も信頼性の高い診断には、ログ、センサーデータ、ユーザーの主観的フィードバックの組み合わせが必要です。ログ収集方法については、以下を参照してください：