Cámara y extensión de entrada
Este artículo presenta el modelo de cámara, parámetros y otros puntos de atención para el uso de cámaras físicas, así como métodos para extender la entrada mediante cámaras personalizadas.
Frame de entrada
El frame de entrada (Input Frame) es la unidad básica de datos en AR, que representa toda la información relevante capturada en un frame desde una cámara u otra fuente de datos. Un frame de entrada generalmente contiene:
- Datos de imagen originales (camera image)
- Parámetros de la cámara (como parámetros intrínsecos)
- Marca de tiempo
- Matriz de transformación de la cámara en coordenadas mundiales
- Estado de seguimiento (tracking status)
Esta información proporciona el contexto espacio-temporal necesario para los algoritmos de AR en posicionamiento, seguimiento, renderizado, etc.
Cámara física
Las cámaras utilizadas actualmente en dispositivos electrónicos suelen estar compuestas por múltiples lentes y espejos. Sin embargo, generalmente no se utilizan estructuras ópticas reales para construir el modelo de cámara, sino modelos simplificados.
Modelo de cámara estenopeica
Este es el modelo más simple comúnmente utilizado, donde la luz pasa por un pequeño orificio para formar una imagen rotada 180 grados. Pero los datos de salida de la cámara voltearán la imagen. Se necesitan seis parámetros para describir este modelo: ancho y alto de píxeles \(w, h\), distancia focal en píxeles \(f_x, f_y\), posición del punto principal en píxeles \(c_x, c_y\). Puede notarse que al escalar el ancho y alto de píxeles, la distancia focal y la posición del punto principal también se escalan correspondientemente, manteniendo la posición de la imagen inalterada.
Modelo de cámara OpenCV
Algunas cámaras tienen distorsión radial y tangencial significativas. El modelo de cámara OpenCV agrega parámetros de alto orden al modelo estenopeico para describir estas distorsiones. La distorsión radial se describe con \(k_1, k_2, k_3, \cdots\). La distorsión tangencial se describe con \(p_1, p_2\).
Nota
Algunos trackers no admiten el modelo de cámara OpenCV.
Modelo de cámara ojo de pez OpenCV
Las cámaras ojo de pez comprimen contenido de gran ángulo de visión en un área de imagen pequeña mediante proyección en perspectiva. El modelo de cámara ojo de pez OpenCV no tiene corrección de distorsión. Sobre los 6 parámetros del modelo estenopeico, utiliza \(k_1, k_2, k_3, k_4, \cdots\) para describir la distorsión.
Nota
Algunos trackers no admiten el modelo de cámara ojo de pez OpenCV.
Orientación de la cámara y orientación de la imagen
En teléfonos, cuando se sostienen horizontalmente (rotados 90 grados en sentido antihorario desde la posición vertical normal) y la dirección de visualización de la pantalla también es horizontal, la imagen de la cámara trasera se muestra en la pantalla coincidiendo con la escena real. Cambiar solo la dirección de visualización de la pantalla sin cambiar su orientación física no altera la dirección de la imagen de salida de la cámara física. Cuando se sostiene verticalmente normalmente y la dirección de visualización también es vertical, la imagen de la cámara trasera debe rotarse 90 grados en sentido horario para mostrarse correctamente en la pantalla. Al rotar la dirección de visualización de la pantalla, la imagen de la cámara debe compensarse con una rotación inversa para coincidir con la escena real.
La orientación de la cámara y de la imagen generalmente se definen en relación con la orientación natural del dispositivo:
Teléfonos
Android
Android define una orientación natural como la posición vertical normal. La unidad de sensor inercial (IMU) también usa esta referencia. La rotación de la imagen de salida de la cámara respecto a esta dirección se obtiene como parámetro de la cámara.
iOS
En iOS, aunque no se define explícitamente una orientación natural, la IMU también usa la misma referencia que Android.
Tabletas
La orientación natural de las tabletas puede ser horizontal o vertical, similar a los teléfonos.
Gafas
La orientación natural de las gafas suele ser horizontal.
Al renderizar la imagen de la cámara, se consideran conjuntamente la orientación de la cámara y la pantalla.
Tipo de cámara y volteo de imagen
Los teléfonos generalmente tienen cámara trasera y frontal. La imagen de la cámara frontal debe voltearse horizontalmente antes de mostrarse en pantalla para simular un espejo. Si no se voltea, se verá desorientada.
Extensión de entrada
EasyAR admite la extensión de entrada mediante cámaras personalizadas. Una cámara personalizada permite transmitir frames de entrada obtenidos externamente al sistema AR para su uso por los trackers. Usted puede implementar la obtención de datos de imagen para la cámara personalizada.
Guías específicas de plataforma
El uso de cámaras y extensiones de entrada está estrechamente relacionado con la plataforma. Consulte las siguientes guías según su plataforma objetivo: