Cómo funciona passthrough realidad mixta y sus visores
Respuesta breve
La tecnología passthrough en realidad mixta utiliza cámaras y sensores externos montados en un visor opaco para digitalizar el entorno físico y proyectarlo en las pantallas internas sin demora perceptible. Mediante algoritmos de visión por ordenador, el dispositivo corrige el paralaje entre las cámaras y los ojos del usuario para alinear la perspectiva natural. Sobre este flujo de vídeo en directo, el procesador superpone elementos gráficos tridimensionales con oclusión y anclaje espacial precisos.
Puntos clave
- Captura el entorno físico mediante sensores ópticos exteriores y lo reproduce en pantallas cerradas en vez de emplear lentes transparentes.
- La configuración estereoscópica de dos cámaras reproduce el paralaje binocular humano para preservar la percepción de profundidad.
- El software transforma la imagen en tiempo real para corregir la discrepancia geométrica entre la posición física de las cámaras y las pupilas.
- Permite alternar entre la inmersión virtual completa y la interacción directa con el espacio real con solo pulsar un botón.
Para comprender como funciona passthrough realidad mixta, es necesario distinguir entre mirar el mundo a través de un cristal transparente y observarlo reconstruido mediante pantallas opacas. En un visor de realidad mixta basado en vídeo, el usuario no tiene visión directa hacia el exterior. En su lugar, una serie de sensores ópticos externos graban el entorno físico continuo, digitalizan la información luminosa y la transmiten en tiempo real a las pantallas microscópicas situadas frente a los ojos. Este flujo se combina de forma sincronizada con capas de información digital generada por ordenador.
Esta aproximación técnica se conoce como video passthrough. Al interponer un sistema de procesamiento completo entre la vista del usuario y la realidad física, el procesador gráfico adquiere el control absoluto de cada píxel emitido. Este mecanismo permite mezclar elementos virtuales opacos con la imagen del mundo real sin las limitaciones de brillo o contraste habituales en los cristales semitransparentes. Conocer la diferencia entre realidad virtual y realidad aumentada ayuda a comprender por qué los fabricantes adoptaron esta solución: convierte un visor inmersivo convencional en una plataforma mixta capaz de alternar entre el aislamiento cerrado y la interacción contextual con la habitación.
Arquitectura óptica y cómo funciona passthrough realidad mixta
El circuito de funcionamiento se organiza en varias etapas secuenciales de adquisición, computación y despliegue de señal. La captura inicial depende de la cantidad y disposición de las cámaras integradas en el chasis exterior del dispositivo:
- Sistemas monoculares: Utilizan una sola cámara para registrar el entorno y duplican la misma señal para ambos ojos. Este método requiere poca capacidad de cálculo, pero elimina la percepción de relieve y entorpece el cálculo instintivo de distancias por parte del cerebro.
- Sistemas estereoscópicos: Emplean un mínimo de dos cámaras calibradas entre sí, asignando un flujo de vídeo dedicado e independiente a cada ojo. Esta configuración reproduce el fenómeno biológico del paralaje, donde la ligera separación entre los puntos de vista permite calcular volúmenes, contornos y profundidades con exactitud.
Los sensores capturan los fotogramas a frecuencias elevadas (habitualmente entre 60 y 90 cuadros por segundo). La señal en bruto viaja al procesador de señales de imagen (ISP) y a la unidad de procesamiento gráfico del dispositivo. Allí se sincroniza con los objetos tridimensionales sintetizados antes de emitir la composición final hacia las pantallas internas, evitando temblores y desfases en los modelos 3D superpuestos.
El problema del desplazamiento físico y la corrección de perspectiva
Uno de los mayores desafíos en la ingeniería de visores de vídeo es el desfase físico entre la posición real de las pupilas del usuario y la ubicación de las cámaras externas. Los sensores de captura se montan varios centímetros por delante de los ojos y a menudo con separaciones distintas a la distancia interpupilar del usuario. Si la señal de vídeo se mostrara sin modificaciones directas, la persona percibiría que sus manos están más lejos de lo normal o sufriría mareos inmediatos provocados por la disonancia visual y vestibular.
Para resolver este problema, el software del visor ejecuta transformaciones de reproyección geométrica en tiempo real. Mediante algoritmos de visión artificial, el sistema recalcula la imagen bidimensional de las cámaras para reconstruir la escena como si los sensores estuvieran exactamente en el plano anatómico de las pupilas. Este procesamiento dinámico compensa puntos ciegos, reduce la desorientación espacial y disminuye las aberraciones en los bordes del campo visual. La velocidad con la que se completa este cálculo determina la latencia total del sistema, la cual debe situarse por debajo de los 15 milisegundos para evitar cualquier retardo perceptible entre el movimiento del cuello y la actualización visual en pantalla.
Fusión de sensores, mapeo espacial y oclusión
La simple reproducción del vídeo exterior no basta para lograr una experiencia espacial convincente; hace falta que los objetos digitales interactúen con la geometría del cuarto. Para ello, el sistema combina el flujo de vídeo con los datos recopilados mediante el tracking inside out VR, apoyándose en sensores infrarrojos, cámaras monoculares de seguimiento y emisores de tiempo de vuelo (ToF) o luz estructurada.
Este conjunto de sensores cartografía el espacio tridimensional de forma continua, identificando suelos, paredes, mesas y obstáculos móviles. Gracias a esta reconstrucción volumétrica en tiempo real, el motor gráfico ejecuta la oclusión tridimensional: si un usuario coloca una taza virtual sobre un escritorio real y pasa su mano por delante, el software detecta la profundidad de la mano y oculta los píxeles de la taza digital que quedan por detrás de ella. Del mismo modo, el seguimiento de manos sin mandos físicos procesa el flujo de las cámaras para registrar las articulaciones de los dedos, permitiendo tocar menús flotantes superpuestos en el mobiliario físico.
Comparativa técnica: Passthrough de vídeo frente a óptica transparente
Existen dos caminos técnicos fundamentales para combinar elementos sintéticos con el mundo real. Cada método presenta ventajas y compromisos de diseño específicos:
| Parámetro técnico | Passthrough de vídeo (MR) | Guía de ondas óptica (AR) | Impacto en el uso |
|---|---|---|---|
| Naturaleza visual | Vídeo digitalizado y reproducido | Luz ambiental directa con proyección | El passthrough permite opacidad total en gráficos |
| Campo de visión | Amplio (habitualmente entre 90° y 110°) | Reducido (entre 30° y 50°) | El passthrough ofrece mayor inmersión periférica |
| Reproducción del color negro | Bloqueo completo mediante píxeles apagados | Incapaz de proyectar negro (se ve transparente) | Los contrastes digitales son más sólidos en passthrough |
| Latencia del entorno real | Retardo computacional (10 a 20 ms) | Cero absoluto (velocidad de la luz directa) | Las guías ópticas no generan desorientación por retardo |
| Factor de forma | Visor cerrado y de mayor peso | Montura ligera similar a gafas tradicionales | El passthrough requiere cascos más voluminosos |
De las zonas de seguridad a las estaciones de trabajo virtuales
En sus primeras implementaciones comerciales antes de finales de 2022, las cámaras passthrough cumplían una función meramente utilitaria y de baja resolución en escala de grises. Se utilizaban principalmente como sistema guardián, permitiendo al usuario delimitar el área de juego seguro en su habitación para no tropezar con muebles ni golpear paredes mientras permanecía en una experiencia de realidad virtual pura.
La transición hacia cámaras de alta resolución en color, incorporada en visores como el Lynx R1 o el HTC VIVE XR Elite, expandió el uso hacia aplicaciones productivas y entretenimiento compartido. En el ámbito corporativo y doméstico, las pantallas físicas de un escritorio pueden sustituirse por múltiples monitores virtuales anclados a paredes reales. Asimismo, grandes corporaciones del sector han orientado sus desarrollos hacia esta convergencia técnica, como reflejan las distintas adquisiciones de Meta enfocadas en tecnología de visión artificial y compresión de vídeo espacial. Con solo pulsar un botón físico o tocar dos veces el chasis del visor, el usuario alterna de forma inmediata entre el aislamiento inmersivo y el control de su entorno físico.
Retos técnicos y compromisos del sistema passthrough
Pese a su versatilidad, el passthrough de vídeo presenta compromisos físicos ineludibles derivados de transformar fotones analógicos en datos computacionales:
- Rango dinámico y exposición: Las cámaras exteriores pueden saturarse ante una ventana soleada o generar ruido digital en habitaciones poco iluminadas, a diferencia del ojo humano que posee un rango dinámico biológico muy superior.
- Distorsión periférica y deformaciones: La reproyección artificial para corregir el paralaje tiende a crear deformaciones ondulantes cerca de objetos en movimiento rápido o cuando las manos se aproximan excesivamente a las lentes.
- Resolución y lectura de pantallas físicas: Aunque las pantallas internas tengan densidades elevadas, la resolución de las cámaras y la compresión limitan la claridad con la que se puede leer texto pequeño en un teléfono móvil real o en la pantalla de un ordenador portátil físico sin acercarse demasiado.
- Consumo energético y temperatura: Mantener dos o más flujos de vídeo en alta resolución procesándose a 90 hercios de manera ininterrumpida demanda energía constante de la batería y exige sistemas activos de refrigeración con ventiladores internos.
Otras preguntas frecuentes
¿Qué diferencia hay entre el passthrough monoscópico y el estereoscópico?
El sistema monoscópico utiliza una sola cámara y duplica la imagen para ambos ojos, eliminando la percepción de profundidad. El sistema estereoscópico usa dos cámaras calibradas para entregar una perspectiva distinta a cada ojo, reproduciendo el paralaje natural humano.
¿Por qué el passthrough puede producir distorsiones cerca de las manos?
Se debe a los algoritmos de reproyección que corrigen el desfase físico entre la posición de las cámaras y los ojos. Al calcular la geometría de objetos muy cercanos a gran velocidad, el software genera pequeñas deformaciones en los bordes de la imagen.
¿Se puede usar passthrough para leer la pantalla de un móvil físico?
Es posible en visores modernos de alta resolución, pero suele resultar difícil si el sensor de la cámara no cuenta con suficiente rango dinámico o si la densidad de píxeles no alcanza la agudeza visual necesaria a corta distancia.
Páginas relacionadas
- Retroalimentación háptica VR en mandos y trajes
La retroalimentación háptica VR convierte eventos de la escena virtual en sensaciones sobre la piel mediante motores vibrotáctiles, mecanismos de fuerza y ultrasonidos. Cada tecnología cubre una parte distinta del tacto: los mandos y trajes vibran para señalar impactos, los guantes empujan para simular peso y resistencia, y los ultrasonidos crean contacto leve en el aire sin nada puesto. Ninguna resuelve el sentido del tacto por completo.
- Latencia motion to photon VR: qué es y por qué importa
La latencia motion to photon VR es el tiempo total que pasa entre el movimiento físico de la cabeza y el instante en que ese movimiento aparece en la pantalla del visor. Se mide en milisegundos y suma el seguimiento, la transmisión de datos, el render y el refresco del panel. Por encima de unos 20 ms provoca desorientación y mareo, así que los objetivos habituales son menos de 10 ms en realidad virtual y menos de 5 ms en aumentada.
- SLAM realidad aumentada: funcionamiento y usos
El SLAM (Simultaneous Localization and Mapping) en realidad aumentada es una técnica computacional que construye un mapa tridimensional del entorno físico mientras calcula simultáneamente la posición exacta del dispositivo en dicho espacio. Gracias a esta tecnología, los elementos digitales permanecen anclados a superficies reales sin derivas ni temblores visuales.
- Audio espacial VR: cómo funciona y tecnología acústica
El audio espacial en realidad virtual recrea la percepción acústica tridimensional calculando cómo interactúan las ondas sonoras con la anatomía humana y el entorno simulado. Mediante funciones matemáticas HRTF y sensores de seguimiento cefálico, el sistema posiciona sonidos en coordenadas dinámicas de 360 grados que responden en tiempo real al giro de la cabeza.
- Guías de onda en realidad aumentada: óptica y diseño
Las guías de onda ópticas canalizan la luz emitida por un microproyector a través de una lente transparente mediante reflexión interna total, dirigiéndola hacia el ojo del usuario. Esta arquitectura elimina la necesidad de colocar pantallas directamente frente a la mirada, permitiendo superponer elementos gráficos sobre el entorno real en monturas compactas similares a unas gafas convencionales.
- Renderizado foveado: qué es y cómo funciona en VR
El renderizado foveado es una técnica de optimización gráfica que asigna la máxima calidad de imagen únicamente al punto exacto donde mira el usuario, degradando de forma calculada la periferia visual. Este procedimiento imita la anatomía de la retina humana para recortar el consumo de recursos de la tarjeta gráfica sin sacrificar nitidez aparente. Se ejecuta mediante métodos fijos basados en el centro de la pantalla o a través de esquemas dinámicos guiados por seguimiento ocular.
Cómo se preparó esta página
Antes de redactarla, el tema se investigó en las fuentes de abajo. Después, la página superó controles de calidad automáticos.