Wesloo
Alle ThemenThemen

Virtuelle und erweiterte Realität

Inside Out Tracking VR Funktionsweise: Technik und Ablauf

Kurze Antwort

Beim Inside-Out-Tracking erfassen am Headset montierte Kameras und Sensoren die Umgebung, um die Position der VR-Brille im Raum kontinuierlich zu berechnen. Das System gleicht visuelle Bezugspunkte mit den Messwerten interner Trägheitssensoren ab, wodurch externe Basisstationen überflüssig werden. Dieser Ansatz ermöglicht sechs Freiheitsgrade bei minimalem Einrichtungsaufwand.

Das Wichtigste

  • Positionsbestimmung erfolgt autonom über geräteeigene Kameras und Trägheitssensoren.
  • Kombination aus optischer Erfassung und inertialer Messung liefert sechs Freiheitsgrade (6DoF).
  • Macht externe Basisstationen oder Kameras an den Wänden überflüssig.
  • Bildverarbeitungsalgorithmen wie SLAM kartieren den Raum und korrigieren Sensorabweichungen.
  • Dient gleichzeitig als Grundlage für Controller-Tracking und Mixed-Reality-Durchsicht.

Die inside out tracking vr funktionsweise basiert auf dem Prinzip, die Umwelt aus der Perspektive des tragbaren Geräts zu beobachten, anstatt externe Empfänger im Zimmer zu verteilen. Während frühe Virtual-Reality-Brillen auf im Raum aufgestellte Infrarotsender oder Kameras angewiesen waren, befinden sich beim Inside-Out-Verfahren sämtliche Messinstrumente direkt im Head-Mounted Display (HMD). Dadurch ermittelt das System seine eigene Position und Blickrichtung eigenständig im dreidimensionalen Raum.

Inside Out Tracking VR Funktionsweise und Sensortechnik

Die Hardware-Grundlage für dieses Verfahren besteht aus zwei primären Komponenten: visuellen Sensoren und einer internen Messeinheit (Inertial Measurement Unit, kurz IMU). Bei den optischen Sensoren handelt es sich meist um mehrere Weitwinkelkameras, die an den Außenkanten des Gehäuses angebracht sind. Hersteller nutzen überwiegend Monochromkameras, da Schwarz-Weiß-Bilder einen höheren Kontrast bieten, weniger Rechenleistung für die Bildanalyse erfordern und bei schlechten Lichtverhältnissen rauschärmer arbeiten als Farbsensoren.

Die IMU kombiniert Drei-Achsen-Beschleunigungsmesser mit Drei-Achsen-Gyroskopen. Sie liefert Messdaten mit extrem hoher Frequenz, oft zwischen 500 und 1000 Hertz. Dies garantiert eine unmittelbare Reaktion auf minimale Kopfbewegungen, wodurch Verzögerungen zwischen der realen Bewegung und der Bildausgabe vermieden werden. Allerdings neigen reine Beschleunigungsmesser durch winzige Messfehler zur sogenannten Drift: Bereits nach wenigen Sekunden weicht die berechnete Position ohne äußeren Korrekturwert um mehrere Zentimeter ab.

An dieser Stelle greift die visuell-inertiale Odometrie (Visual-Inertial Odometry, VIO). Die Außenkameras nehmen die Umgebung mit 30 bis 90 Bildern pro Sekunde auf. Eine Software vergleicht aufeinanderfolgende Bilder, identifiziert markante Punkte im Raum und berechnet aus deren Verschiebung die relative Bewegung des Headsets. Dieser optische Abgleich korrigiert die Drift der IMU fortlaufend. Das Zusammenspiel beider Sensorsysteme ermöglicht eine zuverlässige Bestimmung von sechs Freiheitsgraden (6DoF), bestehend aus drei translatorischen Achsen (Vor/Zurück, Hoch/Runter, Links/Rechts) und drei rotatorischen Achsen (Nicken, Gieren, Rollen).

Algorithmen zur Raumberechnung: SLAM und optischer Fluss

Das mathematische Fundament des Inside-Out-Trackings bildet die sogenannte simultane Lokalisierung und Kartierung (Simultaneous Localization and Mapping, SLAM). Der Algorithmus steht vor der Aufgabe, eine unbekannte Umgebung zu vermessen und gleichzeitig zu bestimmen, an welchem Ort innerhalb dieser Karte sich das Gerät befindet. Dazu tastet die Software jedes Kamerabild nach visuellen Landmarken ab. Dies können Ecken von Möbeln, Kanten von Teppichen, Fußleisten oder markante Muster auf einer Wand sein.

Sobald das Headset bewegt wird, verschieben sich diese Landmarken im Sichtfeld der Kameras. Über trigonometrische Verfahren und optischen Fluss errechnet der Bildprozessor die geometrische Tiefe der Punkte und erstellt eine dreidimensionale Punktwolke des Raumes. Das System speichert die Position dieser Referenzpunkte ab. Bewegt sich der Nutzer im Raum umher und blickt später wieder auf denselben Schreibtisch, erkennt der SLAM-Algorithmus die bekannten Orientierungspunkte wieder und verhindert somit Messfehler.

Dieser Vorgang erfordert spezialisierte Computer-Vision-Chips oder optimierte Rechenkerne auf dem Hauptprozessor. Filteralgorithmen wie das Extended Kalman Filter (EKF) oder fehlertolerante Bündelausgleichungen (Bundle Adjustment) sieben fehlerhafte Messungen aus. Wenn sich beispielsweise eine Person durch das Bild bewegt oder ein Haustier durch den Raum läuft, erkennt der Algorithmus diese dynamischen Abweichungen und ignoriert sie bei der statischen Raumkartierung.

Controller- und Hände-Tracking aus der Headset-Perspektive

Die Kameras des Headsets dienen nicht allein der Lokalisierung des Kopfes, sondern überwachen auch die Peripheriegeräte. VR-Controller sind häufig mit einem Kranz aus Infrarot-LEDs bestückt. Diese Dioden senden für das menschliche Auge unsichtbare Lichtmuster aus, die von den Graustufenkameras der Brille erfasst werden. Da die genaue geometrische Anordnung der Dioden im Controller-Gehäuse der Treibersoftware bekannt ist, lässt sich die Raumposition des Controllers anhand der perspektivischen Verzerrung der Lichtpunkte im Kamerabild berechnen.

Auch das controllerlose Händetracking stützt sich auf diese Architektur. Hierbei analysieren neuronale Netzwerke die Rohbilder der Außenkameras. Die Software identifiziert Hände, segmentiert Finger und legt ein anatomisches 3D-Skelett über die erfassten Gelenkpunkte. Historisch trieben gezielte Zukäufe von Computer-Vision-Startups diese Entwicklung maßgeblich an, was sich unter anderem in der Chronik über Meta Übernahmen widerspiegelt, bei denen spezifisches Fachwissen für optisches Tracking akquiriert wurde.

Vergleich: Inside-Out versus Outside-In

Vor der weiten Verbreitung von Inside-Out-Lösungen dominierten Outside-In-Systeme den Markt. Bei Outside-In stehen ortsfeste Kameras oder Laser-Basisstationen (wie das Lighthouse-System von Valve) an den Raumkanten und beobachten das Headset von außen. Beide Philosophien weisen deutliche Unterschiede in Aufbau, Komfort und Leistungsdaten auf.

KriteriumInside-Out-TrackingOutside-In-Tracking
Zusätzliche HardwareKeine (vollständig im Headset integriert)1 bis 4 externe Sensoren oder Basisstationen
InstallationsaufwandMinimal, sofort einsatzbereitMontage an Wänden oder Stativen nötig
SpielfeldgrößeFlexibel, durch Raumgrenzen definiertBegrenzt auf den Bereich zwischen Stationen
Verdeckungsanfälligkeit (Kopf)Extrem geringMöglich, wenn Sensoren verdeckt werden
Controller hinter dem RückenEingeschränkt (toter Winkel der Kameras)Vollständig erfasst bei mehreren Stationen
Absolute Submillimeter-PräzisionSehr hoch durch VIO-OptimierungKlassische Referenz für maximale Präzision

Ein wesentlicher Vorzug von Inside-Out liegt in der Beseitigung externer Verdeckungen. Wenn bei Outside-In-Systemen der Nutzer mit dem Rücken zu einer einzelnen Kamera steht, wird das Headset verdeckt, was zu Trackingverlusten führt. Inside-Out-Brillen tragen ihre Sensoren stets bei sich, wodurch die Kopfortung immer funktionsfähig bleibt, solange der Raum ausgeleuchtet ist.

Umgekehrt besitzen Inside-Out-Headsets einen toten Winkel: Bewegen sich die Hände hinter den Rücken oder sehr nah an den Körper, verlassen die Controller das Blickfeld der Kameras. In diesem Szenario überbrücken die internen IMUs der Controller die Positionsbestimmung kurzzeitig über Schätzungen (Dead Reckoning). Für wenige Zehntelsekunden bleibt die Eingabe plausibel, bevor ohne optische Bestätigung eine Positionsdrift einsetzt. Hochwertige Tracking-Lösungen setzen deshalb vereinzelt auf eigenständige Kameras direkt in den Controllern oder auf zusätzliche Tracker am Körper.

Erweiterte Funktionen und Mixed Reality

Die für das Inside-Out-Tracking vorhandenen Kameras bieten neben der reinen Raumverortung zusätzliche Einsatzmöglichkeiten. Indem das Kamerasignal digital aufbereitet und auf die Displays im Inneren der Brille projiziert wird, entsteht ein sogenannter Video-Passthrough. Nutzer sehen ihre physische Umgebung in Echtzeit, ohne das Headset absetzen zu müssen.

Diese Durchsicht bildet die Basis für Mixed-Reality-Anwendungen. Das System blendet virtuelle Objekte mit stabiler Tiefenwirkung in die echte Umgebung ein. Es erkennt reale Gegenstände wie Tische, Monitore oder Tastaturen und verankert digitale Interfaces darauf. Hinsichtlich der optischen und sensorischen Anforderungen unterscheidet sich dieser Ansatz grundlegend von reinen Durchsicht-Brillen; detaillierte Einblicke hierzu bietet der Artikel über den Unterschied zwischen VR und AR. Die Kameras ermöglichen zudem das Festlegen von virtuellen Schutzgittern (Guardian- bzw. Chaperone-Systemen): Nähert sich der Anwender einer realen Wand, visualisiert die Software rechtzeitig eine Warnlinie im virtuellen Raum.

Grenzen und Störfaktoren des Inside-Out-Verfahrens

Obwohl moderne Inside-Out-Systeme im Alltagsbetrieb sehr stabil arbeiten, hängen sie von bestimmten Umgebungsbedingungen ab. Da die Algorithmen auf optische Kontraste angewiesen sind, versagt das Tracking bei vollständiger Dunkelheit, sofern das Headset nicht über eigene Infrarotscheinwerfer verfügt. Dimmbare Leuchtmittel oder Lampen mit starkem 50-Hertz-Flackern können das Kamerabild stören.

Ebenso problematisch sind strukturlose Flächen. Steht der Nutzer vor einer vollkommen weißen Wand ohne Bilder, Kanten oder Möbel, findet der SLAM-Algorithmus keine Referenzpunkte. In solchen Momenten stützt sich die Brille vorübergehend nur auf die Trägheitssensoren, was die Bewegungserfassung auf drei Rotationsachsen reduziert (3DoF) oder Bildruckeln verursacht.

Spiegelnde Oberflächen, bodentiefe Fenster und direkte Sonneneinstrahlung stellen eine weitere Hürde dar. Spiegel erzeugen virtuelle Bezugspunkte, die scheinbar hinter der Wand liegen und die Tiefenschätzung der Software verwirren. Direktes Sonnenlicht kann Infrarot-Kameras überblenden, wodurch die LEDs von VR-Controllern unsichtbar werden. Trotz dieser physikalischen Grenzen hat sich das markerlose Inside-Out-Tracking aufgrund seiner Mobilität und einfachen Handhabung als dominierende Technologie im Endkundenbereich etabliert.

Weitere häufige Fragen

Was unterscheidet Inside-Out-Tracking von Outside-In-Tracking?

Beim Inside-Out-Tracking sitzen alle Kameras und Sensoren direkt im Headset und tasten die Umgebung ab. Outside-In-Systeme nutzen dagegen externe Sensoren oder Basisstationen im Raum, die das Headset von außen beobachten.

Funktioniert Inside-Out-Tracking in völliger Dunkelheit?

In der Regel nicht, da die Kameras sichtbare Kontraste und Raumkanten zur Orientierung benötigen. Manche Geräte nutzen Infrarot-Beleuchtung, um auch bei Dunkelheit Orientierungspunkte zu erkennen.

Warum verlieren Controller hinter dem Rücken manchmal die Position?

Da die Kameras am Headset nach vorn und zur Seite gerichtet sind, geraten die Hände hinter dem Körper in einen toten Winkel. Das System schätzt die Bewegung dann kurzzeitig nur über Controller-Sensoren, was nach wenigen Augenblicken ungenau wird.

Verwandte Seiten

  • Haptisches Feedback VR: Wie Controller und Anzüge fühlen

    Haptisches Feedback in VR erzeugt eine spürbare Rückmeldung auf der Haut, damit Gesehenes und Gefühltes zusammenpassen. Vibrotaktile Controller sind der Standard, Kraftrückkopplung und Ultraschall decken Sonderfälle ab, Ganzkörperanzüge verteilen viele Motoren über den Rumpf. Kein einzelnes Gerät erreicht alle Reizarten der Haut.

  • Motion-to-Photon-Latenz bei VR-Headsets erklärt

    Die Motion-to-Photon-Latenz ist die Zeit zwischen einer Kopfbewegung und dem Bild, das das Headset daraufhin zeigt. Sie entsteht aus vielen Einzelabschnitten: Sensorerfassung, Datenübertragung, Anwendungslogik, Rendering und Display-Aktualisierung. Oberhalb von etwa 20 ms wird die Verzögerung für viele Nutzer spürbar und führt zu Schwindel, weshalb VR-Systeme deutlich darunter bleiben sollen.

  • SLAM Augmented Reality: Funktionsweise und Nutzen

    Das Verfahren Simultaneous Localization and Mapping (SLAM) kombiniert die räumliche Erfassung einer fremden Umgebung mit der zeitgleichen Berechnung des eigenen Standorts. In der erweiterten Realität sorgt diese Technologie dafür, dass virtuelle 3D-Objekte stabil an physischen Oberflächen haften, anstatt bei Bewegung zu zittern oder abzudriften. Mathematische Optimierungsverfahren korrigieren Messfehler kontinuierlich in Echtzeit.

  • Spatial Audio VR Funktionsweise: Akustik im 3D-Raum

    Spatial Audio in Virtual Reality bildet die akustische Wahrnehmung im dreidimensionalen Raum digital nach. Das System berechnet Laufzeit- und Lautstärkeunterschiede zwischen beiden Ohren sowie individuelle Frequenzfilterungen in Echtzeit. Durch kontinuierliches Head-Tracking bleiben Schallquellen bei Kopfbewegungen ortsstabil in der virtuellen Welt verankert.

  • Optische Wellenleiter AR-Brille: Physik und Aufbau

    Optische Wellenleiter in Augmented-Reality-Brillen leiten kollimiertes Licht eines Miniaturprojektors mittels Totalreflexion durch ein transparentes Glas- oder Kunststoffsubstrat direkt ins Auge. Auf diese Weise verbinden sie digitale Einblendungen mit der realen Umgebung, ohne das Sichtfeld durch sperrige Bauelemente zu verdecken. Die Technologie ermöglicht extrem flache Brillengläser und eine unauffällige Unterbringung der Projektionseinheit im Brillenbügel.

  • Foveated Rendering Erklärung: Technik und Funktion

    Foveated Rendering ist ein grafisches Berechnungsverfahren für VR- und AR-Headsets, das den Bildbereich im direkten Fokus des Auges mit maximaler Auflösung darstellt und die periphere Sicht mit reduzierter Qualität berechnet. Durch diese selektive Schärfeverteilung sinkt die Auslastung des Grafikprozessors erheblich, ohne dass die wahrgenommene Bildqualität für den Betrachter abnimmt.

Wie diese Seite entstanden ist

Vor dem Schreiben wurde das Thema in den unten genannten Quellen recherchiert. Danach hat die Seite automatische Qualitätsprüfungen bestanden.

Einen Fehler auf dieser Seite melden