Wesloo
Alle ThemenThemen

Virtuelle und erweiterte Realität

Wie funktioniert Passthrough Mixed Reality in Headsets?

Kurze Antwort

Passthrough-Systeme erfassen die physische Umgebung über außen montierte Kameras und leiten die Bilder als Echtzeit-Videostrom an interne Displays weiter. Spezielle Entzerrungsalgorithmen korrigieren den optischen Versatz zwischen Kameralinsen und Augenpositionen, um Schwindelgefühle zu vermeiden. Durch die Überlagerung dieses Videobilds mit 3D-Computergrafiken entsteht ein kombinierter Raumeindruck mit Tiefenwahrnehmung.

Das Wichtigste

  • Erfassung der physischen Umgebung über hochauflösende RGB- und Tiefenkameras
  • Stereoskopische Bildverarbeitung zur Tiefenwahrnehmung durch künstliche Parallaxe
  • Algorithmische Korrektur von Linsenverzerrungen und Latenzzeiten unter zwanzig Millisekunden
  • Räumliche Verdeckungseffekte durch Okklusionsberechnung und Verknüpfung mit Hand-Tracking

Wer verstehen möchte, wie funktioniert Passthrough Mixed Reality, muss die Trennung zwischen direkter Durchsicht und digitaler Bildübertragung betrachten. Bei klassischen AR-Brillen mit durchsichtigen Gläsern fällt das Umgebungslicht direkt auf die Netzhaut des Trägers. Passthrough-Geräte hingegen nutzen vollständig geschlossene Bildschirme. Mehrere an der Außenseite angebrachte Kameras fangen die Umgebung optisch ein und leiten die Bilddaten an einen internen Prozessor weiter. Die Hardware fügt dem Videobild virtuelle Objekte hinzu und wirft das Ergebnis auf die Displays vor den Augen. Der Träger sieht somit kein direktes Abbild der Welt, sondern eine digitale Rekonstruktion in Echtzeit.

Wie funktioniert Passthrough Mixed Reality technisch?

Die Umsetzung erfordert eine präzise Kette aus Bilderfassung, geometrischer Umrechnung und Bildaufbau. Die Kameras sitzen konstruktionsbedingt an der Frontseite des Gehäuses, also einige Zentimeter vor den menschlichen Pupillen. Würde der Prozessor das Rohmaterial unverändert auf die Displays übertragen, entstünde ein verzerrter Raumeindruck. Entfernungen würden falsch wahrgenommen, und Greifbewegungen gingen ins Leere.

Um diese Differenz auszugleichen, analysieren Bildverarbeitungsalgorithmen das eintreffende Material und führen eine Reprojektion durch. Das System berechnet das Sichtfeld so um, als ob sich die Linsen direkt an der Position der menschlichen Augen befänden. Gleichzeitig müssen Verzerrungen der Weitwinkelobjektive begradigt werden. Dieser gesamte Vorgang, von der Belichtung der Kamerasensoren bis zum Aufleuchten der Pixel im Display, darf höchstens fünfzehn bis zwanzig Millisekunden dauern. Überschreitet das Headset diese Zeitspanne, registriert das Gehirn eine Verzögerung zwischen Kopfbewegung und Bildwiedergabe, was zu Orientierungsverlust und Kinetose führt.

Stereoskopie und Tiefenwahrnehmung über zwei Kameras

Frühe Video-Durchsichtssysteme arbeiteten oft mit einer einzelnen Kamera. Ein einzelner Sensor erzeugt jedoch nur ein flaches Bild ohne echte Tiefeninformation. Moderne Geräte verwenden stereoskopische Anordnungen mit zwei horizontal versetzten Farbkameras. Jedes Objektiv beliefert genau ein Display für das linke oder rechte Auge.

Durch den Abstand der Kameras entsteht eine natürliche Parallaxe. Jedes Auge erhält einen leicht abweichenden Blickwinkel auf die Umgebung. Das Gehirn vergleicht die Unterschiede beider Signale und ermittelt daraus Entfernungen. Dies ermöglicht es dem Träger, Treppenstufen sicher zu erkennen, Gläser zu greifen oder reale Wände von virtuellen Hindernissen zu unterscheiden. Der Unterschied zwischen VR und AR verschwimmt an diesem Punkt, weil ein geschlossenes VR-Headset durch die stereoskopische Videoübertragung die Orientierungsfunktion einer AR-Brille übernimmt.

Räumliches Verständnis und Okklusion im Raum

Ein Videobild allein reicht nicht aus, um virtuelle Gegenstände glaubhaft im Raum zu verankern. Das System muss verstehen, wo sich Fußböden, Tische und Wände befinden. Hierfür greifen moderne Headsets auf Tiefensensoren zurück, beispielsweise Time-of-Flight-Module oder strukturierte Infrarotprojektoren. Diese Sensoren messen kontinuierlich die Distanz zu allen Gegenständen in der physischen Umgebung.

Die erfassten Messwerte werden mit Algorithmen für die räumliche Orientierung verknüpft. Das System stützt sich dabei auf Methoden, die dem Inside-Out Tracking von VR-Brillen entsprechen. Das Gerät erstellt in Sekundenbruchteilen ein dreidimensionales Gitternetz des Zimmers. Dadurch können digitale Charaktere auf einem echten Stuhl sitzen oder hinter einer realen Couch verschwinden.

Ein zentraler Bestandteil dieser Interaktion ist die Okklusion, also die gegenseitige Verdeckung von realen und digitalen Elementen. Streckt der Nutzer seine Hand vor ein virtuelles Hologramm, muss die Software erkennen, dass sich die Hand physisch vor dem 3D-Modell befindet. Die Bildverarbeitung schneidet die Handpixel aus dem Videostrom aus und platziert sie vor der Computergrafik. Fehlt diese Berechnung, überlagert das virtuelle Objekt die menschlichen Finger, was die räumliche Illusion zerstört.

Entwicklungsschritte von Tracking-Gittern zu Vollfarb-Passthrough

Die ersten Generationen von VR-Headsets nutzten Außenkameras ausschließlich als technisches Hilfsmittel zur Raumerfassung. Nutzer sahen bei Bedarf lediglich ein körniges, monochromes Schwarz-Weiß-Bild, um Sicherheitszonen am Boden einzuzeichnen oder Zusammenstöße mit Möbelstücken zu vermeiden. Ein längeres Verweilen in diesem Modus war aufgrund starker Verzerrungen und fehlender Farbe unangenehm.

Ab Ende 2022 wandelte sich die Technologie mit der Einführung hochauflösender RGB-Sensoren und leistungsstarker Prozessoren. Hersteller wie Lynx mit dem Modell R1 oder HTC mit der Vive XR Elite zeigten, dass Außenkameras auch als dauerhaftes Darstellungsmedium dienen können. Auch Plattformanbieter investierten stark in diesen Bereich, was sich bei Übernahmen im Mixed-Reality-Bereich durch Meta zeigte, die auf die Optimierung von Sensorik und Echtzeitverarbeitung abzielten. Der Wechsel von simplen Begrenzungsgittern zu hochauflösenden Farbvideoströmen bildete das Fundament für alltägliche Arbeits- und Unterhaltungsanwendungen.

Vergleich: Video See-Through gegenüber optischem See-Through

Die Industrie nutzt zwei grundlegend verschiedene Ansätze, um Realität und digitale Elemente zu verschmelzen: das hier beschriebene Video-See-Through (VST) und das optische See-Through (OST), wie es in transparenten Datenbrillen eingesetzt wird.

KriteriumVideo See-Through (VST)Optisches See-Through (OST)
Sichtfeld (Field of View)Groß (oft über 90 bis 110 Grad)Begrenzt (meist 30 bis 50 Grad)
Deckkraft digitaler ObjekteVollständig opak (100 Prozent Deckung)Halbtransparent mit Geisterbildeffekt
HelligkeitskontrollePixelgenaue Steuerung über DisplayAbhängig von Umgebungsbeleuchtung
Latenz der RealitätVerzögert durch VideoverarbeitungVerzögerungsfrei durch direktes Licht
StromverbrauchHoch durch permanente Kameras und RechenlastModerat bei reiner Displaysteuerung

Die Tabelle zeigt die systemischen Stärken von VST. Da das Gerät jeden Pixel des Displays kontrolliert, können virtuelle Objekte komplett lichtundurchlässig dargestellt werden. Sogar tiefe Schatten und rein schwarze Oberflächen sind möglich. Bei optischen Systemen hingegen scheint das Sonnenlicht durch die Grafik hindurch, wodurch digitale Einblendungen in hellen Räumen verblassen. Der Nachteil von VST bleibt die Notwendigkeit permanenter Rechenleistung für die Entzerrung des Videostroms.

Praktische Einsatzbereiche

Die Verbindung von Kamerabildern und 3D-Grafiken erlaubt Anwendungen, die weit über isolierte VR-Erlebnisse hinausgehen:

  • Virtuelle Arbeitsplätze: Nutzer öffnen mehrere digitale Bildschirme im Raum, können jedoch weiterhin ihre physische Tastatur ablesen und Gegenstände auf dem Schreibtisch greifen.
  • Industrie- und Medizintraining: Mechaniker oder angehende Chirurgen üben Eingriffe an physischen Modellen, während das Headset Schnittlinien oder Montagehinweise passgenau auf das reale Werkstück projiziert.
  • Unterhaltung im Wohnraum: Nutzer verwandeln ihre reale Zimmerwand in eine digitale Kinoleinwand, behalten aber Personen im Raum im Blick.
  • Schneller Realitätswechsel: Per Knopfdruck oder Geste wechselt das Gerät von vollständiger virtueller Isolation zurück zur klaren Sicht auf die Umgebung.

Durch die Weiterentwicklung von Kamerasensoren und Bildkorrekturverfahren bildet Passthrough das funktionale Bindeglied zwischen physischem Raum und digitalen Arbeitsflächen.

Weitere häufige Fragen

Was unterscheidet Video-Passthrough von optischen AR-Brillen?

Video-Passthrough zeigt eine gefilmte und digital aufbereitete Version der Umwelt auf geschlossenen Bildschirmen. Optische AR-Brillen nutzen transparente Gläser, durch die das reale Licht ohne zeitliche Verzögerung direkt in das Auge fällt.

Warum verursacht Passthrough manchmal Bewegungskrankheit?

Übelkeit entsteht, wenn die Verzögerung zwischen der Kopfbewegung und der Videoanzeige auf dem Display zu groß ist. Auch ungenau berechnete Entzerrungen der Kameraperspektive können das Gehirn irritieren.

Welche Rolle spielen Tiefensensoren bei der Passthrough-Technik?

Tiefensensoren vermessen die Abstände zu Möbeln, Wänden und Händen im Raum. Auf dieser Datenbasis kann die Software virtuelle Objekte hinter echten Gegenständen verdecken und Kollisionen berechnen.

Verwandte Seiten

  • Haptisches Feedback VR: Wie Controller und Anzüge fühlen

    Haptisches Feedback in VR erzeugt eine spürbare Rückmeldung auf der Haut, damit Gesehenes und Gefühltes zusammenpassen. Vibrotaktile Controller sind der Standard, Kraftrückkopplung und Ultraschall decken Sonderfälle ab, Ganzkörperanzüge verteilen viele Motoren über den Rumpf. Kein einzelnes Gerät erreicht alle Reizarten der Haut.

  • Motion-to-Photon-Latenz bei VR-Headsets erklärt

    Die Motion-to-Photon-Latenz ist die Zeit zwischen einer Kopfbewegung und dem Bild, das das Headset daraufhin zeigt. Sie entsteht aus vielen Einzelabschnitten: Sensorerfassung, Datenübertragung, Anwendungslogik, Rendering und Display-Aktualisierung. Oberhalb von etwa 20 ms wird die Verzögerung für viele Nutzer spürbar und führt zu Schwindel, weshalb VR-Systeme deutlich darunter bleiben sollen.

  • SLAM Augmented Reality: Funktionsweise und Nutzen

    Das Verfahren Simultaneous Localization and Mapping (SLAM) kombiniert die räumliche Erfassung einer fremden Umgebung mit der zeitgleichen Berechnung des eigenen Standorts. In der erweiterten Realität sorgt diese Technologie dafür, dass virtuelle 3D-Objekte stabil an physischen Oberflächen haften, anstatt bei Bewegung zu zittern oder abzudriften. Mathematische Optimierungsverfahren korrigieren Messfehler kontinuierlich in Echtzeit.

  • Spatial Audio VR Funktionsweise: Akustik im 3D-Raum

    Spatial Audio in Virtual Reality bildet die akustische Wahrnehmung im dreidimensionalen Raum digital nach. Das System berechnet Laufzeit- und Lautstärkeunterschiede zwischen beiden Ohren sowie individuelle Frequenzfilterungen in Echtzeit. Durch kontinuierliches Head-Tracking bleiben Schallquellen bei Kopfbewegungen ortsstabil in der virtuellen Welt verankert.

  • Optische Wellenleiter AR-Brille: Physik und Aufbau

    Optische Wellenleiter in Augmented-Reality-Brillen leiten kollimiertes Licht eines Miniaturprojektors mittels Totalreflexion durch ein transparentes Glas- oder Kunststoffsubstrat direkt ins Auge. Auf diese Weise verbinden sie digitale Einblendungen mit der realen Umgebung, ohne das Sichtfeld durch sperrige Bauelemente zu verdecken. Die Technologie ermöglicht extrem flache Brillengläser und eine unauffällige Unterbringung der Projektionseinheit im Brillenbügel.

  • Foveated Rendering Erklärung: Technik und Funktion

    Foveated Rendering ist ein grafisches Berechnungsverfahren für VR- und AR-Headsets, das den Bildbereich im direkten Fokus des Auges mit maximaler Auflösung darstellt und die periphere Sicht mit reduzierter Qualität berechnet. Durch diese selektive Schärfeverteilung sinkt die Auslastung des Grafikprozessors erheblich, ohne dass die wahrgenommene Bildqualität für den Betrachter abnimmt.

Wie diese Seite entstanden ist

Vor dem Schreiben wurde das Thema in den unten genannten Quellen recherchiert. Danach hat die Seite automatische Qualitätsprüfungen bestanden.

Einen Fehler auf dieser Seite melden