ヘッドセットの画面録画: immersive AR/MR 体験を記録する
AR や MR の headset を使って開発、テスト、ユーザーサポートを行うとき、画面録画は問題の再現と分析に重要な手段です。しかし、mobile device と違い、headset の画面録画には Passthrough や Foveated Rendering などの特殊技術が関わるため、録画映像は通常、ユーザーが両目で直接見る完全な stereo view と完全には一致しません。そのため、録画内容を解釈するときは、実際の人間の見え方との違いに特に注意する必要があります。
なぜ headset の画面録画には visual な差があるのか？
ユーザーは特に注意してください: headset の録画映像は、レンズ越しに実際に見える映像と完全に同じではありません。録画で異常を見つけた場合は、実際の見え方とあわせて説明し、developer を誤解させないようにしてください。
主な違いは次のとおりです。
- 解像度と鮮明さの違い
- 録画: 通常は monocular video stream で、1080p かそれ以下です。
- 人の目: application によっては、modern headset の monocular resolution は 2K 以上になることもあります。
- 影響: 録画でぼやけて見える文字や画像が、headset ではぼやけていないことがあります。逆に、headset で見えるわずかなエッジのギザギザが、録画ではまったく見えないことがあります。
- field of view (FOV) の違い
- 録画: 録画映像は通常四角形です。特に wide FOV の device では、端の内容が切り取られやすくなります。
- 人の目: 見えている映像は binocular で、視野はより広くなります。
- 影響: 問題が視野の端で起きている場合、録画では正確に表れないことがあります。
- Foveated Rendering の影響
- 録画: 低解像度の周辺領域も含めて、視野全体の内容が録画されます。
- 人の目: 視線の中心は高解像度で、中心外は低解像度です。
- 影響: 実際にはとても鮮明に感じていても、録画を見返すと一部がぼやけていることがあります。これは通常は正常で bug ではありません。録画するときは、見せたい部分にしっかり集中して、その領域が鮮明に撮れるようにしてください。
- frame rate と refresh rate の影響
- 録画: 録画動画の frame rate は通常 30FPS か 60FPS です。
- 人の目: 実際の画面 refresh rate は 90Hz や 120Hz に達することがあります。
- 影響: ごく小さな frame rate 低下は録画では気づきにくい一方、人間の目には stutter や motion sickness としてはっきり感じられます。録画は滑らかに見えるのに実際の体験はそうでない場合、たいてい performance 問題なので、録画後に必ず明記してください。
OST headset に関する特記事項
特に注意: Rokid や XREAL のような AR glasses を含む OST (Optical See-Through) headset を使っている場合、画面録画では人の目に見える実景を記録できません。
OST device とは何か？
OST device は半透明の optical lens を通して光を直接目に投射し、virtual content は mini projector や waveguide によって視野内に重ねられます。外界を撮影する camera は spatial positioning にのみ使われ、表示には使いません。そのため、この仕組みでは device 自体が人の目で見える real scene を「録画」することはできません。
OST device の画面録画の制限
- 実景は録画できない: OST の録画は virtual content の layer (GUI、3D model、UI pointer など) だけを記録します。
- 背景が黒くなる: PC や mobile で再生すると、真っ黒な背景の上に virtual object が見えるだけで、real environment の文脈は失われます。
- occlusion が失われる: virtual object が手や机などの real object に隠れるはずでも、録画では黒い画面上に浮いて見え、layer hierarchy が間違っているように見えます。
virtual content を重ねたときの visual error の問題
理想的な環境でも、OST headset が表示する virtual content と real world の alignment には、どうしてもある程度の visual error が存在します。この種の error は、必ずしも software bug や tracking failure が原因ではなく、device の物理特性と人間の visual system の根本的な違いから生じることが多く、現時点の技術では完全に消せないものもあります。
feedback を提出する際は、次の違いを区別してください。
- optical alignment error:
- 現象: 頭を動かすと、virtual object が「浮いて」見えたり、real object に対してわずかにずれて見えたりします。
- 原因: ユーザーは optical lens 越しに real world を直接見ていますが、virtual content の rendering coordinate system は通常、head tracking と SLAM のような environment understanding system を基に構築されます。optical display path と spatial positioning に使う camera/IMU の間には physical offset があり、sub-pixel レベルの joint calibration も難しいため、real-virtual alignment は特に edge FOV や近距離 scene で敏感になります。
- 人間の目の calibration の限界:
- 現象: virtual object に重なりがあるように見える、端がぼやける、空間に正しく投射されていないように感じる、などです。
- 原因: OST device は精密な IPD と eye position calibration に非常に強く依存します。device があなたの目に対して正確に calibrate されていない場合や、headset の装着位置がずれた場合、optical engine が投射する光は正確に pupil に入らなくなります。たとえ calibration があっても、有限の sample points に基づくため、各ユーザーの eye geometry、cornea curvature、視覚の癖に完全には一致しません。わずかな calibration のずれでも、virtual object の depth や横位置に system 的なずれを生みます。
- 個人差による visual difference:
- 現象: virtual content の位置に対する主観的な見え方がユーザーによって異なります。
- 原因: 近視、乱視、動的な焦点調整能力などの違いが、virtual overlay の主観評価に影響します。OST device には real-time eye tracking や個人別の optical correction がない場合があり、それらの違いを各ユーザーごとに動的に補正できません。
- 環境要因の干渉:
- 現象: 明るい環境では virtual content が薄くなって見えにくくなったり、見えなくなったりします。暗い環境では逆に overexposure や ghosting が起きることがあります。
- 原因: OST device は mini projector や waveguide の virtual light を real world の ambient light に直接重ねます。real environment が明るすぎると弱い virtual light がかき消され、逆も同様です。こうした optical artifact は OST device に固有の特性です。
注記
この種の error は OST AR glasses 技術に固有の特性であり、機能不良ではありません。問題の切り分けでは、「修正可能な software/tracking 問題」と「hardware と生理的制約による体験の限界」を区別してください。ユーザーの feedback が軽いずれ、端の歪み、depth perception の不一致を含む場合は、まず device が想定された使用条件、たとえば作業距離、明るさの範囲、calibration 状態の範囲内かを確認してください。
OST device の feedback をどう扱うか？
OST device 使用時に visual 問題があった場合、上記の device 制約を除外したうえで、画面録画を feedback として出すことができます。ただし、画面録画だけでは通常不十分です。
- 写真を添える: レンズ越しに見える実際の映像を mobile で撮影してください（“eye-view photo” と呼びます）。これで virtual object と real environment の相対位置が分かります。
- 環境を説明する: その場の環境を詳しく説明してください（明るさ、背景色、通行人のような動的要素の有無など）。OST の表示効果は ambient light に非常に依存するためです。
よくある headset の画面録画方法
注記
画面録画中に device が rendering frame rate や resolution を下げることがあり、滑らかさや tracking stability の判断に影響します。問題を再現したらできるだけ早く録画し、長時間の run で結果が変わらないようにしてください。
Apple Vision Pro
- 画面上部を見上げて Control Center の点が見えるまで待ち、その点に集中してクリックします。
- Control Center > “Record My View” ボタン
を見つめてクリックし、録画を開始します。 - 録画を停止するには、Control Center を開いて再度 “Record My View” をタップします。
- view の録画は “Photos” app
に保存されます。
PICO 4 Ultra
- Control Center > Settings > General > Casting, Recording, and Screenshot を開き、“Recording and Screenshot” で recording mode を “Spatial” にします。
- controller の Home ボタンを短く押し、表示されるメニューで “Recording” ボタンを選び、trigger を引いて録画を開始します。
- ここでカウントダウンが表示されるので、すぐに録画したい app の画面に戻ると、カウントダウン終了後に自動で録画が始まります。
- もう一度 Home ボタンを短く押し、再度 “Recording” ボタンを選べば録画を停止できます。
- 録画ファイルは通常
Internal Storage/DCIM/ScreenRecordに保存されます。
Rokid Max Pro
- desktop に入り、下部の status bar を見つけ、ユーザー avatar の横にある “Quick Settings” をタップします。
- 出てきた window で “Record” をタップし、すぐに録画したい app 画面に戻ります。system が自動で録画を開始します。
- Station Pro の X ボタンを押して desktop に戻ります。再度 “Quick Settings” の “Record” をタップすると録画を停止できます。
- 録画ファイルは通常
Internal Shared Storage/ScreenRecorderに保存されます。
XREAL Air2 Ultra
- Beam Pro の画面で下にスワイプして glasses の control center を開き、上部の “Screen Record” をタップします。
- system にカウントダウンが表示されるので、すぐに録画したい app 画面に戻ります。
- 画面上部に浮かぶ赤い “Stop” ボタンをタップすると録画を停止できます。
- 録画ファイルは通常
Internal Shared Storage/Movies/Recordに保存されます。
Best practice の提案
headset の画面録画で問題を報告するときは、次の点に注意してください。
- 提出時には device model、録画方法、environment factor を明確に記載してください。
- 問題が depth、occlusion、tracking jitter に関係する場合は、録画では正確に表れないことがあるので、人の目で実際に見えた現象を文章で補足してください。
- 重要な scene では、外部 camera で headset 装着中の実際の操作を撮影し、より完全な context を補うことができます。
headset の画面録画は便利ですが、あくまで体験の近似です。最も信頼できる診断には、log、sensor data、ユーザーの主観的な feedback を組み合わせる必要があります。log 収集方法については次を参照してください。