Wesloo
Tous les thèmesThèmes

Réalité virtuelle et augmentée

Qu'est-ce que le SLAM en réalité augmentée ?

Réponse courte

Le SLAM (Simultaneous Localization and Mapping) désigne une méthode informatique permettant à un appareil de calculer sa propre position tout en cartographiant simultanément un environnement inconnu. En réalité augmentée, cette technologie garantit la stabilité visuelle des éléments virtuels en les ancrant précisément sur les surfaces physiques réelles. Elle repose sur la vision par ordinateur, la géométrie algorithmique et la fusion de données provenant de multiples capteurs.

L’essentiel

  • Résolution simultanée de la trajectoire d'un appareil et de la géométrie de son environnement.
  • Fusion des données optiques de caméras et de centrales inertielles pour éliminer l'imprécision métrique.
  • Maintien de l'ancrage spatial des éléments virtuels sans nécessiter de balises externes ou de GPS.
  • Recalibrage continu de la carte grâce à la reconnaissance de lieux déjà visités (fermeture de boucle).

Pour comprendre qu'est-ce que le slam dans l'écosystème de la réalité augmentée, il convient de se pencher sur son intitulé complet : Simultaneous Localization and Mapping, soit la localisation et cartographie simultanées. Cette approche algorithmique permet à un appareil mobile ou à des lunettes connectées d'explorer un espace inconnu, d'en dresser le modèle géométrique en temps réel et de calculer sa propre trajectoire au sein de ce volume. Sans ce mécanisme, un système d'affichage superposerait des graphismes flottants sur un flux vidéo sans ancrage solide avec le sol, les murs ou le mobilier.

Qu'est-ce que le SLAM : principes et mécanismes fondamentaux

Le fonctionnement du SLAM résout un problème circulaire classique en robotique : pour cartographier un lieu, un dispositif doit connaître sa position exacte, mais pour estimer sa position, il a besoin d'une carte de référence. Les algorithmes brisent ce paradoxe par des approximations probabilistes successives. À mesure que l'utilisateur déplace son appareil, le système traite les images successives pour en extraire des éléments remarquables tels que des contrastes de texture, des arêtes d'objets ou des coins de surface.

En mesurant le déplacement de ces points de repère visuels d'une trame à la suivante, le composant d'odométrie visuelle calcule la translation et la rotation de la caméra selon six degrés de liberté. Simultanément, la méthode de triangulation projette ces amers visuels dans un repère tridimensionnel pour constituer un nuage de points spatialisé. Des techniques d'optimisation mathématique, notamment l'ajustement de faisceaux (bundle adjustment) et les filtres de Kalman, ajustent en continu les coordonnées estimées afin de réduire les écarts entre les observations optiques et les positions théoriques. Ces algorithmes cherchent moins une précision géométrique absolue qu'un compromis calculatoire suffisant pour assurer un rendu visuel stable.

Le rôle des capteurs et la fusion de données

Un système SLAM performant associe plusieurs catégories d'instruments de mesure. Pour compenser le bruit de mesure et les dérives d'échelle, le système doit impérativement exploiter des flux de capteurs statistiquement indépendants.

Les caméras optiques capturent une grande quantité de détails géométriques, mais elles perdent leur efficacité lors de mouvements trop rapides, d'occlusions soudaines ou dans des pièces sombres. Pour pallier ces faiblesses, les constructeurs intègrent des centrales inertielles (IMU) regroupant accéléromètres et gyroscopes. Ces modules mesurent les accélérations linéaires et les vitesses angulaires à des cadences atteignant plusieurs centaines de hertz. Le SLAM visuel-inertiel (VIO) combine la rapidité de l'inertie et la précision des repères visuels pour maintenir la continuité du suivi spatial.

D'autres instruments interviennent selon la gamme des terminaux utilisés :

  • Les capteurs de temps de vol (ToF) et LiDAR : ils projettent des impulsions lumineuses pour calculer directement la distance de chaque surface, levant les ambiguïtés d'échelle métrique propres aux caméras simples.
  • Les caméras stéréoscopiques : deux capteurs séparés par un écartement calibré imitent la vision binoculaire humaine pour déduire la profondeur par calcul de parallaxe.
  • Les capteurs tactiles ou odomètres de contact : employés en robotique au sol mais absents des casques légers, ils offrent des mesures très localisées qui imposent de solides modèles prédictifs a priori pour orienter le système.

Exploration de l'espace et indexation géométrique

La gestion en temps réel des points spatiaux générés par le SLAM impose une organisation rigoureuse des données en mémoire vive. Cette méthodique exploration de l'espace physique présente des analogies directes avec le monde logiciel. De la même manière que l'on analyse comment fonctionne un web crawler pour parcourir, indexer et relier méthodiquement les pages d'un réseau sans fin, le moteur SLAM découvre son environnement pas à pas en reliant géométriquement des fragments visuels disparates.

Quand l'utilisateur parcourt un grand bâtiment, le terminal ne peut pas recalculer la position de chaque point historique à chaque nouvelle image sans saturer son processeur. L'espace est alors partitionné en sous-cartes locales. Pour vérifier rapidement si un point observé correspond à un repère enregistré plus tôt, l'algorithme utilise des dictionnaires de descripteurs visuels. Cette méthode d'accès sélectif et instantané rappelle le fonctionnement d'un index inverse de moteur de recherche, qui associe des identifiants précis à des documents afin d'éviter le balayage exhaustif de la mémoire globale.

Comparaison des différentes approches de SLAM

Les architectures SLAM se déclinent sous plusieurs formes selon la puissance de calcul disponible et les capteurs embarqués sur le terminal.

Typologie SLAMCapteurs requisAvantages techniquesLimites opérationnelles
SLAM MonoculaireUne seule caméra RGBCoût matériel très faible, compatible avec les smartphones basiquesAbsence d'échelle métrique absolue, sensibilité au flou de mouvement
SLAM Visuel-Inertiel (VIO)Caméra standard et centrale inertielle (IMU)Excellente réactivité, maintien du suivi lors des rotations brusquesAccumulation de dérive inertielle en l'absence de repères visuels stables
SLAM RGB-D / LiDARCaméra et émetteur infrarouge ou laserMesure immédiate de la profondeur, fonctionne sur des murs sans textureConsommation électrique élevée, portée limitée en plein soleil
SLAM CollaboratifRéseau de terminaux hétérogènesCartographie unifiée de vastes zones, partage d'objets virtuels multi-utilisateursDépendance à la bande passante réseau et synchronisation des référentiels

Le traitement de la dérive et la fermeture de boucle

Chaque estimation calculée par odométrie introduit une infime marge d'erreur. Sur une trajectoire courte, ces écarts restent imperceptibles. En revanche, après plusieurs minutes de déambulation à travers plusieurs pièces, ces erreurs s'additionnent : c'est la dérive odométrique. Un objet 3D initialement déposé sur une table peut alors sembler flotter à vingt centimètres au-dessus d'elle lorsque l'utilisateur revient dans la pièce.

Pour corriger cette distorsion progressive, les systèmes exploitent la fermeture de boucle (loop closure). Lorsque la caméra observe un agencement de points d'intérêt identique à une configuration enregistrée au début du parcours, l'algorithme identifie qu'il revisite un lieu connu. Le système résout alors un problème d'optimisation globale sur l'ensemble du graphe de poses : il réajuste rétroactivement toute la trajectoire intermédiaire et replace la carte ainsi que les objets virtuels à leurs exactes coordonnées d'origine.

Différences entre réalité augmentée et conduite autonome

Bien que la robotique routière et la réalité augmentée partagent les mêmes racines théoriques, leurs choix opérationnels diffèrent profondément. Les véhicules autonomes actuels réduisent fortement la complexité de la cartographie en exploitant des relevés topographiques exhaustifs établis en amont. Ces représentations intègrent en amont le tracé millimétrique des lignes blanches, la position des bordures et la signalisation routière, complétées par des données visuelles géolocalisées.

Pour une voiture, la tâche principale se ramène ainsi à un problème de localisation pure au sein d'une carte préexistante, le système se contentant d'ajouter les éléments dynamiques comme les piétons ou les véhicules environnants. À l'opposé, les casques et téléphones de réalité augmentée opèrent le plus souvent dans des intérieurs privés sans aucune carte préalable. L'algorithme doit reconstruire l'espace instantanément tout en conservant une fluidité d'affichage supérieure à soixante images par seconde pour éviter toute gêne visuelle à l'utilisateur.

Le SLAM collaboratif et multi-utilisateurs

Le déploiement d'expériences collectives où plusieurs personnes interagissent avec les mêmes éléments virtuels repose sur le SLAM collaboratif. Cette variante synchronise les flux sensoriels de plusieurs appareils pour bâtir un modèle spatial partagé. Ce procédé a été validé lors de déploiements opérationnels complexes, notamment par diverses équipes participant au DARPA Subterranean Challenge en 2021, où des flottes de robots ont cartographié des galeries souterraines sans signal satellite.

Dans le cadre d'un usage d'entreprise ou ludique, chaque appareil calcule sa propre position locale tout en transmettant des sous-cartes de ses points clés à un serveur ou en liaison directe de proche en proche. Dès que deux utilisateurs visualisent une même zone, le système aligne leurs repères respectifs dans un système de coordonnées universel. Les objets virtuels restent ainsi immobiles et cohérents pour l'ensemble des participants, quel que soit leur angle de vue.

Contraintes d'exécution sur le matériel portable

L'analyse continue de flux vidéo tridimensionnels à haute fréquence exige une importante puissance de calcul, ce qui crée une contrainte thermique et énergétique majeure sur des lunettes de réalité augmentée légères. Le traitement doit respecter une latence infime entre le mouvement physique de la tête et la mise à jour des pixels affichés.

Pour respecter ce budget énergétique réduit, l'architecture logicielle sépare le travail sur des puces spécialisées :

  1. Traitement de signal et DSP : extraction des points caractéristiques sur les images brutes dès leur sortie du capteur optique.
  2. Processeur principal (CPU) : exécution des algorithmes d'odométrie et filtrage statistique de la pose à chaque trame.
  3. Optimisation en tâche de fond : calculs lourds d'ajustement de faisceaux et recherche de fermeture de boucle déportés à cadence réduite sur des cœurs basse consommation.
  4. Processeur graphique (GPU) : gestion du maillage polygonal de l'environnement physique pour gérer les occlusions réalistes, empêchant un objet virtuel d'apparaître devant une main qui passe devant lui.

Autres questions fréquentes

Pourquoi le GPS ne suffit-il pas pour la réalité augmentée ?

Le GPS présente une marge d'erreur de plusieurs mètres et ne fonctionne pas en intérieur. Il ne fournit aucune information géométrique sur les surfaces physiques comme le sol ou les tables, rendant impossible l'ancrage stable d'un objet 3D.

Quelle est la différence entre l'odométrie visuelle et le SLAM ?

L'odométrie visuelle calcule uniquement la trajectoire pas à pas de la caméra et accumule de la dérive au fil du temps. Le SLAM conserve une carte globale de l'environnement et corrige ces erreurs passées dès qu'il reconnaît un lieu déjà exploré.

Qu'est-ce que la fermeture de boucle dans un algorithme SLAM ?

La fermeture de boucle désigne la capacité du système à reconnaître un endroit déjà cartographié lorsqu'il y repasse. Cette identification permet de recalculer l'ensemble de la trajectoire pour supprimer la dérive accumulée.

Pages liées

  • Retour haptique VR : comment ça marche

    Le retour haptique VR traduit un événement de la scène virtuelle en vibration, déformation ou force appliquée sur le corps. Trois familles de matériel cohabitent : les moteurs vibrotactiles des manettes, le retour d'effort des gants et exosquelettes, et les ultrasons focalisés en plein air. Aucune ne couvre tout le sens du toucher, chacune répond à un usage précis.

  • Latence motion to photon VR : définition et enjeux

    La latence motion to photon est le délai total qui sépare un mouvement physique de l'utilisateur de l'apparition de l'image correspondante sur l'écran du casque. Elle additionne la captation du mouvement, la transmission des données, le traitement applicatif, le rendu et le rafraîchissement de la dalle. Rester sous 20 millisecondes évite la cinétose, et les meilleurs systèmes visent moins de 10 ms en réalité virtuelle et moins de 5 ms en réalité augmentée.

  • Audio spatial VR fonctionnement et technologies 3D

    L'audio spatial en réalité virtuelle reproduit la perception auditive naturelle en modélisant le trajet des ondes sonores jusqu'aux deux oreilles au moyen de filtres HRTF. Couplé aux capteurs de mouvement du casque, le moteur audio ajuste l'orientation des sources sonores en temps réel pour maintenir leur cohérence spatiale. Le système calcule également la réverbération, les réflexions sur les parois et l'occlusion des obstacles pour immerger l'utilisateur dans un environnement crédible.

  • Guide d'onde optique réalité augmentée : fonctionnement

    Un guide d'onde optique pour lunettes de réalité augmentée transporte la lumière émise par un micro-projecteur déporté dans la monture jusqu'à l'œil de l'utilisateur grâce au principe de réflexion totale interne. Cette lame transparente superpose les éléments virtuels au champ visuel naturel sans bloquer la vue du monde réel. Deux familles principales existent sur le marché : les guides d'ondes géométriques à miroirs semi-réfléchissants et les guides d'ondes diffractifs à réseaux microscopiques.

  • Rendu fovéal explication et fonctionnement

    Le rendu fovéal est une technique d'optimisation graphique qui adapte la précision de l'image à la zone observée par l'utilisateur. En réduisant drastiquement la définition dans la vision périphérique, cette méthode diminue la charge imposée au processeur graphique sans dégradation visuelle perceptible. Elle s'appuie sur la physiologie de l'œil humain et s'applique principalement aux casques de réalité virtuelle et augmentée.

  • Comment fonctionne le passthrough realite mixte ?

    Le passthrough en réalité mixte repose sur des caméras extérieures qui filment l'environnement physique en temps réel pour le retransmettre sur les écrans internes du casque. Des algorithmes corrigent la perspective et la distorsion pour recréer la vision naturelle, permettant d'intégrer des éléments virtuels directement sur le flux vidéo.

Comment cette page a été préparée

Avant la rédaction, le sujet a été étudié dans les sources ci-dessous. La page a ensuite passé des contrôles de qualité automatiques.

Signaler une erreur sur cette page