Table of Contents

Запись экрана headset: как фиксировать immersive AR/MR experience

При разработке, тестировании или поддержке пользователей AR- или MR-headset запись экрана — важный способ воспроизведения и анализа проблем. Однако, в отличие от mobile devices, запись экрана headset связана со специальными технологиями вроде Passthrough и Foveated Rendering, поэтому картинка записи обычно не полностью совпадает с тем, что пользователь видит обоими глазами напрямую. Поэтому при анализе записи особенно важно учитывать разницу между ней и реальным зрительным опытом.

Почему у записи экрана headset есть визуальные различия?

Пользователям нужно особенно помнить: картинка записи headset не полностью равна реальному изображению, которое вы видите за линзами. Если в записи найдена аномалия, обязательно описывайте ее вместе с реальным ощущением, чтобы не ввести developer в заблуждение.

Основные различия:

  1. Разница в разрешении и четкости
  • Запись: обычно это monocular video stream, например 1080p или ниже.
  • Зрение человека: в зависимости от приложения, monocular resolution современных headset может достигать 2K и выше.
  • Влияние: текст или картинка, которые выглядят размытыми в записи, могут быть четкими в headset; наоборот, мелкая зубчатость на краях, видимая в headset, может вообще не быть заметна в записи.
  1. Разница в поле зрения (FOV)
  • Запись: снятое изображение обычно квадратное. Особенно на устройствах с широким FOV крайний контент часто обрезается.
  • Зрение человека: видимое изображение binocular, поле зрения шире.
  • Влияние: если проблема находится на краю поля зрения, запись может не отразить ее точно.
  1. Влияние Foveated Rendering
  • Запись: в кадр попадает весь диапазон, включая низкоразрешенные области по краям.
  • Зрение человека: центр взгляда имеет высокое разрешение, а области вне центра — более низкое.
  • Влияние: вам кажется, что картинка очень четкая, а при просмотре записи часть области оказывается размытой. Обычно это нормально и не является bug. Поэтому при записи обязательно фокусируйтесь на том фрагменте, который хотите показать, чтобы он попал в запись четким.
  1. Влияние frame rate и refresh rate
  • Запись: frame rate обычно составляет 30FPS или 60FPS.
  • Зрение человека: реальный refresh rate может достигать 90Hz или 120Hz.
  • Влияние: очень небольшое падение frame rate на записи может быть незаметно, а человек ощущает явный stutter или motion sickness. Если запись выглядит плавной, а реальный опыт нет, обычно это проблема performance и ее нужно обязательно описать.

Особое замечание по OST headset

Особое внимание: если вы используете OST (Optical See-Through) headset, например AR glasses вроде Rokid или XREAL, функция записи экрана не записывает реальный scene, видимый глазами.

Что такое OST device?

OST device напрямую проецирует свет в глаза через полупрозрачные optical lens, а virtual content накладывается в поле зрения через mini projector или waveguide. Камера, снимающая внешний мир, используется только для spatial positioning, а не для отображения. Из-за этого устройство не может “записать” реальный scene, видимый глазами.

Ограничения записи экрана на OST device

  • Нельзя записать реальный scene: запись OST фиксирует только слой virtual content (GUI, 3D model, UI pointer и т. д.).
  • Фон черный: при просмотре записи на компьютере или телефоне вы увидите virtual object на полностью черном фоне, без контекста реальной среды.
  • Теряется occlusion: если virtual object должен быть закрыт реальным объектом вроде руки или стола, в записи он будет висеть на черном фоне и выглядеть как неверная layer hierarchy.

Проблема визуальной ошибки при наложении virtual content

Даже в идеальной среде alignment между virtual content, отображаемым OST headset, и реальным миром неизбежно имеет некоторую визуальную ошибку. Такие ошибки не всегда вызваны bug software или tracking failure, а часто возникают из-за фундаментальных различий между физическими свойствами устройства и человеческой visual system. Часть ошибок невозможно полностью устранить в современных условиях.

При отправке feedback учитывайте следующие случаи:

  • Optical alignment error:
    • Проявление: когда вы двигаете головой, виртуальный объект кажется “плавающим” или имеет небольшое смещение относительно реального объекта.
    • Причина: пользователь смотрит на реальный мир напрямую через optical lens, а rendering coordinate system виртуального content обычно строится на основе head tracking и систем понимания среды вроде SLAM. Из-за физического смещения между optical display path и camera/IMU, используемыми для spatial positioning, и сложности совместной калибровки до субпиксельного уровня, alignment реального и виртуального особенно чувствителен на краях поля зрения и в сценах на близком расстоянии.
  • Ограничение калибровки глаз:
    • Проявление: виртуальный объект выглядит двоящимся, размытым по краям или будто неправильно проецируется в пространство.
    • Причина: OST device сильно зависит от точной калибровки IPD и положения глаза. Если устройство не откалибровано именно под ваши глаза или положение headset сместилось, свет от optical engine не попадет точно в зрачок. Даже при наличии калибровки процесс основан на ограниченном числе sample points и плохо совпадает с геометрией глаз, кривизной роговицы и визуальными привычками каждого пользователя. Небольшое отклонение калибровки вызывает систематическое смещение виртуального объекта по глубине или по горизонтали.
  • Индивидуальные различия зрения:
    • Проявление: субъективная оценка положения virtual content у разных пользователей может отличаться.
    • Причина: различия в зрении, например близорукость, астигматизм, способность к динамической фокусировке и другие факторы влияют на субъективную оценку overlay. OST device может не иметь real-time eye tracking и персональной optical correction, поэтому не способен динамически компенсировать эти различия для каждого пользователя.
  • Влияние environment factors:
    • Проявление: в яркой среде virtual content тускнеет, становится плохо видимым или исчезает; в темной среде может пересвечиваться и даже появляться ghosting.
    • Причина: OST device напрямую накладывает virtual light от mini projector или waveguide на ambient light реального мира. Если environment слишком яркий, слабый virtual light теряется; и наоборот. Такие optical artifacts являются естественной особенностью OST device.
Примечание

Такие ошибки — это естественная особенность технологии OST AR glasses, а не отказ функции. При разборе проблемы различайте “исправимые software/tracking issues” и “границы опыта, обусловленные hardware и физиологией”. Если feedback пользователя касается небольшого смещения, искажения по краям или несоответствия глубины, сначала проверьте, находится ли устройство в заявленных условиях использования, таких как рабочая дистанция, диапазон освещения и состояние калибровки.

Как обрабатывать feedback по OST device?

Если при использовании OST device возникают визуальные проблемы, после исключения ограничений устройства вы можете записать экран для feedback. Но одной записи обычно недостаточно:

  1. Добавьте фото: используйте телефон, чтобы сделать снимок реального изображения через линзу, которое вы видите. Это показывает относительное положение virtual object и реальной среды.
  2. Опишите среду: подробно опишите окружающие условия (освещение, цвет фона, есть ли динамические объекты вроде прохожих и т. д.), потому что отображение OST сильно зависит от ambient light.

Способы записи экрана для распространенных headset

Примечание

Во время записи устройство может снизить rendering frame rate или resolution, что влияет на оценку плавности и стабильности tracking. Рекомендуется записывать сразу после воспроизведения проблемы, не допуская длинного runtime.

Apple Vision Pro

  1. Поднимите взгляд к верхней части экрана, пока не увидите точку Control Center. Сфокусируйтесь на ней и нажмите.
  2. Посмотрите и нажмите Control Center > кнопку “Record My View” , чтобы начать запись.
  3. Чтобы остановить запись, откройте Control Center и снова нажмите “Record My View”.
  4. Запись вашего view будет сохранена в app “Photos” .

PICO 4 Ultra

  1. Откройте Control Center > Settings > General > Casting, Recording, and Screenshot и в разделе “Recording and Screenshot” выберите режим recording “Spatial”.
  2. Кратко нажмите кнопку Home на controller, в появившемся меню выберите кнопку “Recording” и нажмите trigger, чтобы начать запись.
  3. Система покажет обратный отсчет; сразу вернитесь в интерфейс приложения, которое нужно записать, и запись начнется автоматически после завершения отсчета.
  4. Снова кратко нажмите кнопку Home на controller и повторно выберите кнопку “Recording”, чтобы остановить запись.
  5. Файл записи обычно сохраняется в папку Internal Storage/DCIM/ScreenRecord на устройстве.

Rokid Max Pro

  1. Перейдите на desktop, найдите нижнюю status bar и нажмите область “Quick Settings” рядом с avatar пользователя.
  2. В появившемся окне нажмите кнопку “Record” и сразу вернитесь в приложение, которое нужно записать. Система автоматически начнет запись.
  3. Нажмите кнопку X на Station Pro, чтобы вернуться на desktop. Снова нажмите кнопку “Record” в области “Quick Settings”, чтобы остановить запись.
  4. Файл записи обычно сохраняется в папку Internal Shared Storage/ScreenRecorder на устройстве.

XREAL Air2 Ultra

  1. На экране Beam Pro проведите вниз, чтобы открыть control center glasses, и нажмите верхнюю кнопку “Screen Record”.
  2. Система покажет обратный отсчет; сразу вернитесь в интерфейс приложения, которое нужно записать.
  3. Нажмите плавающую красную кнопку “Stop” в верхней части экрана, чтобы остановить запись.
  4. Файл записи обычно сохраняется в папку Internal Shared Storage/Movies/Record на устройстве.

Рекомендации по best practice

При отправке проблемы через запись экрана headset обратите внимание на следующее:

  • При отправке явно указывайте model устройства, способ записи и environment factors.
  • Если проблема связана с глубиной, occlusion или jitter tracking, добавьте текстовое описание того, что реально видел пользователь, потому что запись может не показать это точно.
  • Для ключевых сцен можно дополнительно снять внешней камерой реальную работу пользователя с надетым headset, чтобы дать более полный контекст.

Запись экрана headset удобна, но это всегда лишь приближенное воспроизведение опыта. Самая надежная диагностика по-прежнему требует сочетания log, sensor data и субъективной обратной связи пользователя. О методах сбора log см.: