Réalité virtuelle et augmentée
Latence motion to photon VR : définition et enjeux
Réponse courte
La latence motion to photon est le délai total qui sépare un mouvement physique de l'utilisateur de l'apparition de l'image correspondante sur l'écran du casque. Elle additionne la captation du mouvement, la transmission des données, le traitement applicatif, le rendu et le rafraîchissement de la dalle. Rester sous 20 millisecondes évite la cinétose, et les meilleurs systèmes visent moins de 10 ms en réalité virtuelle et moins de 5 ms en réalité augmentée.
L’essentiel
- La latence motion to photon cumule toutes les étapes du pipeline, de la mesure inertielle à l'émission de lumière par la dalle.
- Au-delà d'environ 20 millisecondes, l'écart entre sensation vestibulaire et retour visuel déclenche la cinétose.
- Les cibles de conception descendent plus bas : moins de 10 ms en VR, moins de 5 ms en AR selon Heinrich Fink.
- La prédiction de pose, la reprojection et le rendu fovéal servent à masquer une latence que l'on ne peut pas supprimer.
- Une mesure fiable exige un banc externe, car instrumenter le logiciel fausse le résultat.
La latence motion to photon VR mesure le temps qui sépare un mouvement physique de l'utilisateur, le plus souvent une rotation de la tête, de l'instant où l'image correspondante est émise par l'écran du casque. Elle n'a pas une cause unique : chaque maillon de la chaîne, de la captation du geste au rafraîchissement de la dalle, ajoute sa part de retard. Le total reste l'indicateur le plus parlant de la réactivité d'un système immersif, parce qu'il englobe tout ce que la personne ressent vraiment, et pas seulement la vitesse d'affichage.
Comment se décompose la chaîne de latence ?
Un casque ne fabrique pas une image en une seule opération. La chaîne s'ouvre sur la détection du geste et se referme quand la dalle émet sa lumière. Entre les deux s'enchaînent la transmission des relevés capteurs, leur fusion en une pose unique, la logique applicative, la génération des deux images stéréo, les corrections de distorsion et enfin l'affichage. Chaque étape consomme des millisecondes, et la somme grimpe vite.
| Étape | Ce qui se passe | Ordre de grandeur |
|---|---|---|
| Captation inertielle | Gyroscope et accéléromètre relèvent l'orientation de la tête | jusqu'à environ 1000 Hz |
| Captation caméra | Les caméras de suivi analysent la scène ou les contrôleurs | 30 à 90 Hz |
| Transport et fusion | Les relevés remontent au moteur, qui en tire une pose | quelques ms |
| Traitement applicatif | Physique, animation, logique du contenu | variable |
| Rendu | Images gauche et droite, distorsion, reprojection | quelques ms |
| Affichage | La dalle émet la lumière | lié au taux de rafraîchissement |
Les IMU, qui associent gyroscope et accéléromètre, échantillonnent l'orientation très vite, de l'ordre du millier de mesures par seconde. Les caméras de suivi sont bien plus lentes, entre 30 et 90 images par seconde, et demandent en plus un temps d'analyse. La branche inertielle du pipeline est donc souvent la plus courte, tandis que la partie logicielle varie le plus d'un contenu à l'autre.
Quels seuils de latence motion to photon VR viser ?
La limite de confort retenue par la profession tourne autour de 20 millisecondes. Passé ce cap, l'utilisateur perçoit un décalage entre son geste et la réponse visuelle : désorientation spatiale, vertiges, sueurs froides. On regroupe ces symptômes sous le nom de cinétose, ou mal des transports virtuel. Heinrich Fink place la cible plus bas encore, avec moins de 5 millisecondes pour la réalité augmentée et moins de 10 millisecondes pour la réalité virtuelle.
Un rendu à 90 images par seconde laisse environ 11 millisecondes entre deux images. Une latence de 20 millisecondes équivaut donc à presque deux images de retard, ce qui explique pourquoi la fluidité d'affichage ne suffit jamais à elle seule. Un casque peut tourner très vite et rester inconfortable si le suivi traîne ou si un traitement sature le processeur.
Les deux disciplines n'ont pas les mêmes exigences, comme le montre la différence entre réalité virtuelle et réalité augmentée. En VR, le monde est entièrement synthétique et l'oreille interne tolère mal un écart avec l'image. En AR, le rendu se superpose au décor réel : le retard se traduit par un hologramme qui glisse derrière les objets qu'il devrait suivre. La stabilité d'ancrage au monde et le confort du passthrough vidéo dépendent directement de ce chiffre.
Pourquoi un retard visuel rend-il malade ?
Le cerveau compare sans arrêt ce que l'oreille interne ressent et ce que les yeux voient. Quand la tête tourne, les capteurs vestibulaires signalent la rotation immédiatement. Si l'image arrive trop tard, les deux flux ne concordent plus, et l'organisme interprète ce conflit comme une anomalie. La cinétose en est la conséquence directe. Ce mécanisme éclaire un point contre-intuitif : même à 120 images par seconde, une application peut rendre malade dès que les données de suivi sont décalées. Le taux de rafraîchissement ne rattrape pas un pipeline lent.
Les techniques pour masquer ou réduire la latence
Le zéro absolu n'existe pas : la lumière se propage en un temps fini et les capteurs ont un délai de réponse. Les concepteurs empilent donc plusieurs méthodes.
- Prédiction de pose. Le système de suivi analyse la vitesse et l'accélération du mouvement en cours pour estimer la position future de la tête, et le moteur dessine la scène avec cette pose anticipée. Le gain est immédiat, au prix d'une erreur quand le mouvement change brutalement.
- Reprojection. Juste avant l'affichage, l'image déjà calculée est déformée pour coller à la dernière pose connue, sans relancer tout le rendu.
- Suivi plus rapide. Le tracking inside out supprime le passage par des balises externes et raccourcit la chaîne de mesure.
- Rendu fovéal. Le rendu fovéal ne calcule en haute résolution que la zone regardée, ce qui libère du temps de calcul. Il ajoute sa propre contrainte : la latence eye-motion-to-photon, soit le délai entre le mouvement de l'œil et l'image adaptée, doit rester très faible avant la saccade suivante.
- Allègement du pipeline. Fusion des capteurs au plus près du matériel, correction de distorsion intégrée au compositeur, affichage à faible persistance.
L'image n'est pas le seul canal concerné. Le son spatialisé doit rester synchronisé avec la scène, sinon le décalage entre un bruit et sa source casse la localisation dans l'espace.
Comment mesure-t-on la latence réellement perçue ?
Faire mesurer sa propre latence par le logiciel n'est guère fiable : le chronométrage interne ajoute du retard et perturbe le fonctionnement du système observé. La méthode fiable passe par un banc externe. Un robot fait pivoter le casque sur un axe, pendant qu'un dispositif optique observe à la fois le mouvement imposé et ce qui s'affiche. On compare ensuite le profil de déplacement du contenu avec celui du robot.
Deux situations sont distinguées. La latence prédite se mesure pendant une rotation régulière, celle que le système peut anticiper. La latence non prédite s'obtient en maintenant le casque immobile sur tous les axes, puis en lançant d'un coup une rotation rapide et fortement accélérée : elle teste la capacité de rattrapage. Des instruments comme l'OptoFidelity BUDDY s'appuient sur une constellation de marqueurs absolus dans la scène virtuelle, comparée à la pose réelle du robot, pour obtenir une mesure de bout en bout sans perturber le casque testé.
Cloud, passthrough et usage scientifique
Le rendu déporté sur serveur se heurte à un obstacle physique. Le simple trajet par le réseau introduit un délai qui excède à lui seul les seuils de confort, indépendamment de la puissance de la machine distante. Compression, décodage et allers-retours de suivi s'empilent sur un pipeline déjà tendu. Cela ne condamne pas les usages immersifs en streaming, mais ils resteront cantonnés aux applications tolérantes au retard.
Le passthrough de la réalité mixte profite au contraire directement d'une latence basse : l'image du monde réel filmée par les caméras doit arriver à temps pour rester crédible et supportable à porter longtemps.
La latence n'est pas qu'un critère de confort. Les casques grand public sont de plus en plus utilisés comme outils de recherche en neurosciences et pour étudier le comportement sensorimoteur. Avant de les utiliser comme outil scientifique, il faut vérifier leurs propriétés, et cette latence de bout en bout fait partie des paramètres à valider : un retard temporel modifie la coordination entre perception et action, donc les résultats eux-mêmes.
Autres questions fréquentes
Qu'est-ce qui provoque la latence motion to photon ?
Elle résulte de l'addition de plusieurs délais : le temps de réponse des capteurs, la transmission et la fusion des données, le traitement par l'application, la génération des images et le rafraîchissement de la dalle. Aucune de ces étapes n'est instantanée, et le total dépasse vite le seuil perceptible.
Quelle latence est acceptable dans un casque VR ?
En dessous d'environ 20 millisecondes, la plupart des utilisateurs ne remarquent rien et évitent la cinétose. Les cibles de conception descendent plus bas, autour de 10 millisecondes pour la réalité virtuelle et 5 millisecondes pour la réalité augmentée.
Un taux de rafraîchissement élevé suffit-il à corriger la latence ?
Non. Une fréquence d'images élevée réduit l'intervalle entre deux affichages, mais elle ne compense pas un suivi retardé ni un traitement applicatif trop long. Un casque très fluide peut rester inconfortable si la pose utilisée pour le rendu est périmée.
Pourquoi la latence est-elle plus critique en réalité augmentée ?
Parce que l'image doit se caler sur un décor réel. Un retard fait glisser les éléments virtuels par rapport aux objets physiques qu'ils accompagnent, ce qui casse l'illusion d'ancrage et gêne la lecture de la scène.
Peut-on atteindre une latence nulle ?
Non. La propagation de la lumière, la réponse des capteurs et le calcul prennent toujours un temps mesurable. L'objectif réaliste est de réduire chaque étape et d'anticiper le mouvement par prédiction pour rendre le retard imperceptible.
Pages liées
- Retour haptique VR : comment ça marche
Le retour haptique VR traduit un événement de la scène virtuelle en vibration, déformation ou force appliquée sur le corps. Trois familles de matériel cohabitent : les moteurs vibrotactiles des manettes, le retour d'effort des gants et exosquelettes, et les ultrasons focalisés en plein air. Aucune ne couvre tout le sens du toucher, chacune répond à un usage précis.
- Audio spatial VR fonctionnement et technologies 3D
L'audio spatial en réalité virtuelle reproduit la perception auditive naturelle en modélisant le trajet des ondes sonores jusqu'aux deux oreilles au moyen de filtres HRTF. Couplé aux capteurs de mouvement du casque, le moteur audio ajuste l'orientation des sources sonores en temps réel pour maintenir leur cohérence spatiale. Le système calcule également la réverbération, les réflexions sur les parois et l'occlusion des obstacles pour immerger l'utilisateur dans un environnement crédible.
- Guide d'onde optique réalité augmentée : fonctionnement
Un guide d'onde optique pour lunettes de réalité augmentée transporte la lumière émise par un micro-projecteur déporté dans la monture jusqu'à l'œil de l'utilisateur grâce au principe de réflexion totale interne. Cette lame transparente superpose les éléments virtuels au champ visuel naturel sans bloquer la vue du monde réel. Deux familles principales existent sur le marché : les guides d'ondes géométriques à miroirs semi-réfléchissants et les guides d'ondes diffractifs à réseaux microscopiques.
- Rendu fovéal explication et fonctionnement
Le rendu fovéal est une technique d'optimisation graphique qui adapte la précision de l'image à la zone observée par l'utilisateur. En réduisant drastiquement la définition dans la vision périphérique, cette méthode diminue la charge imposée au processeur graphique sans dégradation visuelle perceptible. Elle s'appuie sur la physiologie de l'œil humain et s'applique principalement aux casques de réalité virtuelle et augmentée.
- Comment fonctionne le passthrough realite mixte ?
Le passthrough en réalité mixte repose sur des caméras extérieures qui filment l'environnement physique en temps réel pour le retransmettre sur les écrans internes du casque. Des algorithmes corrigent la perspective et la distorsion pour recréer la vision naturelle, permettant d'intégrer des éléments virtuels directement sur le flux vidéo.
- Tracking inside out VR fonctionnement et technologies
Le tracking inside-out permet à un casque de réalité virtuelle de déterminer sa position dans l'espace grâce à des capteurs et des caméras intégrés à l'appareil. Le système analyse les variations visuelles de la pièce et fusionne ces données avec des mesures inertielles pour calculer six degrés de liberté en temps réel. Cette technologie élimine le besoin d'installer des balises ou des capteurs externes autour de la zone de jeu.
Comment cette page a été préparée
Avant la rédaction, le sujet a été étudié dans les sources ci-dessous. La page a ensuite passé des contrôles de qualité automatiques.