Qu’est-ce que la Réalité Mixte ? – Explications

La Réalité Mixte désigne la superposition d’éléments virtuels au monde réel à travers un casque ou des lunettes dédiées. Un utilisateur peut voir et manipuler ces éléments 3D comme s’il s’agissait d’éléments réels, directement dans son environnement avec ses mains, offrant un mix entre Réalité Augmentée et Réalité Virtuelle.

Cette technologie s’adresse aux professionnels, offrant la possibilité d’assister une personne dans les tâches qu’il réalise en lui affichant toute sorte d’informations et indications en temps réel. Comment fonctionne cette technologie et quels en sont les usages ? Nos équipes vous résument tout ce qu’il y a à savoir pour que la Réalité Mixte n’ait plus de secret pour vous.

La Réalité Mixte : Comment ça marche ?

Quand on parle de Réalité Mixte (Mixed Reality ou MR en anglais) on pense souvent aux lunettes HoloLens de Microsoft, actuel leader du marché. L’éditeur américain a démocratisé l’usage de la technologie en quelques années, notamment avec son HoloLens 2 commercialisé en 2020. Ce dispositif permet l’affichage et la manipulation d’informations et éléments 3D appelés Hologrammes. Ce mix entre réalité et virtuel passe par plusieurs capteurs et accessoires innovants intégrés directement aux lunettes :

• Des verres transparents à travers lesquels l’utilisateur voit apparaître les hologrammes

• Des caméras de profondeur pour reconnaître les objets et surfaces du monde réel

• Des caméras de HandTracking pour reconnaître et suivre les mains de l’utilisateur

• Des caméras de EyeTracking pour reconnaître et suivre les yeux de l’utilisateur

• Un assistant vocal pour guider l’utilisateur avec des commandes vocales

Grâce au suivi des mains de l’utilisateur, il est possible de toucher, saisir et déplacer avec précision des hologrammes comme s’il s’agissait d’objets physiques. Ces hologrammes peuvent ensuite être fixés dans l’environnement réel, pour nous permettre de tourner autour ou donner une indication sur un objet réel précis. Ce positionnement s’effectue grâce à la reconnaissances des surfaces et des environnements, offrant une véritable cartographie spatiale des objets réels et de leurs homologues virtuels.

La plupart des lunettes de Réalité Mixte, ou lunettes MR, sont de véritables petits ordinateurs autonomes. Elles ne nécessitent aucune connexion à un autre appareil pour fonctionner. Elles disposent également d’un stockage interne, pour accueillir une multitude d’applications afin de répondre à divers besoins. On navigue dans les menus par nos gestes, notre voix ou notre regard, pour choisir une application et afficher son contenu, lui aussi manipulable et interactif.

D’autres appareils permettent cette superposition de contenu à l’aide de technologies différentes. Le terme « Réalité Mixte » est également utilisé par l’entreprise Meta (anciennement Oculus), désignant ici l’affichage du monde réel sur un écran à travers les caméras de leur casque de Réalité Virtuelle. On simule ici le rendu obtenu par des lunettes augmentées de manière indirecte. D’autres dispositifs bien différents optent pour un affichage avec un écran déporté sur un seul verre de lunette, telles que les RealWare, Vuzix ou Google Glass. L’écran et ses informations sont fixes sur ces appareils, ne disposant pas de caméras de profondeur pour ancrer les informations virtuelles dans l’environnement comme le ferait un casque de Réalité Mixte, offrant moins de possibilités.

Quels sont les cas d’usage de la Réalité Mixte ?

La Réalité Mixte au service des professionnels est arrivée à maturité. Plusieurs secteurs comme l’industrie, le commerce de détail, le tourisme, la mode, le divertissement, l’automobile ou encore les services peuvent offrir à leurs collaborateurs et clients des expériences améliorées en utilisant ces nouvelles technologies. Les entreprises s’équipent généralement de ces dispositifs pour répondre à 5 cas d’usage majeurs :

La formation des collaborateurs

Un apprenant peut suivre un guide interactif dans ses lunettes, lui indiquant où et comment réaliser chaque action sur le terrain. Des indications visuelles se superposent alors à son environnement pour mettre en surbrillance les éléments à manipuler et les gestes à réaliser. Ces indications sont couplées à des instructions textuelles, vidéos et photos projetées dans les lunettes, étape par étape. L’apprentissage se fait en autonomie, au rythme de l’apprenant, par la pratique et de manière visuelle, 4 éléments qui permettent de mieux retenir les informations, deux fois plus qu’une formation classique. On peut par exemple citer l’entreprise industrielle Poclain Hydraulics, ayant formé plus de 100 personnes sur des procédures auparavant complexes et peu intuitives en seulement quelques mois.

La maintenance des machines

En affichant à un opérateur une checklist augmentée, ce dernier peut compléter son rapport sur le terrain avec ses lunettes, remontant automatiquement les données de maintenance en temps réel. Si un problème est constaté sur le terrain, le casque permet de remonter facilement des commentaires audio, photo et vidéo. Cela accélère la prise en compte des éventuelles pannes et limite les risques d’arrêt de production couteux. On peut par exemple citer l’entreprise industrielle Saint-Gobain, ayant diminué de 2 heures ses maintenances hebdomadaires tout en limitant les erreurs commises sur les opérations les plus complexes.

L’assistance à distance

En permettant à un opérateur de solliciter via le casque un expert à distance, il peut lui partager sa vision du terrain grâce à la caméra frontale pour se faire assister en temps réel. L’expert peut alors guider l’opérateur en lui donnant des indications visuelles, mais aussi en lui partageant son écran, pour lui fournir toute aide nécessaire à la réalisation de la tâche en cours. On peut par exemple citer l’entreprise agricole Agriteam, qui a facilité ses opérations terrains sur du matériel agricole. Leurs collaborateurs peuvent se faire accompagner par un expert distant pour résoudre des pannes, monter en compétences et éviter les allers-retours des effectifs.

La projection de maquettes en 3D

Vos maquettes sont affichées et manipulables avec le casque, à différentes échelles et sous différents angles. L’utilisation de la Réalité Mixte comme outil de visualisation 3D offre plusieurs libertés, par exemple en termes d’agencement et de conception : plusieurs personnes peuvent partager le même jumeau numérique avec un ou plusieurs casques et faire des commentaires et ajustements à la volée. On peut par exemple citer l’entreprise automobile Ford, ayant permis à ses salariés de remplacer la modélisation classique en argile. La projection de maquettes entières en trois dimensions est dorénavant privilégiée, facilement adaptable et modulable. Il devient ainsi très simple et peu coûteux de faire des essais de design et d’ingénierie.

Le guidage lors d’opérations de picking

Ayant connaissance de l’environnement dans lequel il se situe, le casque est capable d’apprendre où sont situés différents éléments au sein d’un espace. Cela permet par exemple de guider une personne jusqu’à l’endroit où se situe une action à effectuer ou un élément à récupérer. Le guidage peut prendre plusieurs formes : Un tracé de flèches au sol pour respecter les passages piétons en usine, une flèche indiquant la bonne direction, ou encore des pointillés à suivre du regard pour indiquer une position en hauteur. Une fois sur place, l’opérateur peut saisir une information, pour indiquer par exemple qu’un restockage est nécessaire.

Quels sont les avantages de la Réalité Mixte ?

Le principal avantage de cette technologie est sa prise en main immédiate. Par sa gestuelle naturelle passant directement par nos mains, la technologie est accessible à tout type de profils. Un tutoriel de 5 minutes embarqué dans les lunettes guide l’utilisateur sur les possibilités offertes. On permet ainsi à de nouvelles personnes d’être autonomes rapidement sur cette technologie, aux premiers abords futuriste.

Avoir un accès rapide et contextuel aux informations, en affichant la bonne indication au bon endroit et au bon moment sur le terrain. On améliore ainsi la productivité des collaborateurs, qui réalisent les opérations plus rapidement et en commettant moins d’erreurs. Les lunettes deviennent un outil indispensable dans lequel on peut retrouver à coup sûr l’information dont on a besoin.

Garder les mains libres tout en manipulant, avec un affichage des informations intégré à notre champ de vision. Les interactions peuvent également se faire par la voix ou au regard, sans solliciter nos mains. Il n’est plus nécéssaire d’avoir un téléphone en main pour prendre une photo, ou une procédure papier pour suivre des instructions.

Le casque HoloLens est adapté aux zones réglementées, sa version « Industrial Edition » dispose de la norme ISO 14644-1 Classe 5.0 pour être utilisé en zone blanche. Il inclut également la norme UL Classe I, Division 2 pour les environnements dangereux, avec un indice de protection contre la poussière IP50. Le port de certains EPI est également possible avec le casque, comme des lunettes ou casquettes de sécurité.

Quelle différence avec la Réalité Virtuelle ?

La différence entre la Réalité Mixte et la Réalité Virtuelle réside dans la capacité de son utilisateur à prendre en compte le monde réel. La Réalité Virtuelle (Virtual Reality ou VR en anglais) nous immerge dans une simulation, où nous interagissons via des manettes de manière totalement virtuelle. La Réalité Mixte utilise notre environnement réel en y superposant des informations interactives, manipulables directement via nos mains.

La première différence se fait sur les possibilités offertes. La Réalité Virtuelle permet de simuler une multitude de situations et comportements, qui ne sont pas forcément possibles dans la réalité. Ces simulations demandent un temps de conception non négligeable en amont, si on souhaite prendre en compte une multitude d’interactions. La Réalité Mixte favorise les interactions avec des objets réels et physiques. Ils ne sont donc pas à concevoir, on y superpose uniquement des informations simples et possiblement quelques objets virtuels manipulables avec nos mains. Les possibilités sont donc différentes et complémentaires, le choix de la technologie doit donc se faire sur l’expérience et les résultats visés.

Par exemple, si on doit s’entraîner à la maintenance d’une machine dangereuse, on privilégiera la Réalité Virtuelle qui ne présente aucun risque. En revanche, si la maintenance est nécessaire sur une vraie machine par un expert, la Réalité Mixte pourra le guider pour qu’il ne commette aucune faute, ayant toutes les informations à disposition dans ses lunettes en temps réel.

La prise en main d’un casque VR est également plus compliquée que des lunettes MR. Les manettes VR comprenant différents boutons doivent être maîtrisées par l’utilisateur pour comprendre comment interagir dans l’expérience, alors qu’en MR les interactions se font naturellement via nos mains. Certains utilisateurs rencontrent également des désorientations ou nausées lors de leurs premières utilisations de casque VR, connues sous le nom de « Motion Sickness ». Ce désagrément est dû à une désynchronisation entre les mouvements perçus par notre cerveau et ceux de l’expérience. Ce problème fini toutefois par partir après plusieurs utilisations en habituant notre corps, et n’est pas ressenti en Réalité Mixte. »

Quelle différence avec la Réalité Augmentée ?

La différence entre la Réalité Mixte et la Réalité Augmentée réside dans ses interactions et son support. Ces deux technologies partagent un point commun : Le fait de superposer des éléments virtuels au monde réel. La Réalité Augmentée (Augmented Reality ou AR en anglais) via l’écran de nos appareils mobiles, la Réalité Mixte l’ajoute directement à notre vision via un casque ou des lunettes.

Les interactions en Réalité Mixte sont plus profondes et naturelles en passant directement par notre vision et nos mains. La Réalité Augmentée étant limitée à l’écran tactile, on imagine facilement que des manipulations en profondeur tel que le placement d’un objet dans l’espace réel est bien moins simple sur un écran plat que directement via nos mains en faisant un glisser-déposer.

Le champ de vision offert par la Réalité Mixte est également plus immersif, ne nécessitant pas d’orienter notre appareil mobile dans la bonne direction pour voir un élément. La Réalité Mixte peut ainsi être vue comme une Réalité Augmentée améliorée, permettant des interactions plus profondes avec les éléments virtuels, comme s’il s’agissait d’objets physiques situés dans notre environnement.

Quel est le futur de la Réalité Mixte ?

L’adoption de ces technologies immersives en entreprise est en marche. Pensée initialement pour les particuliers, ce sont bien les professionnels qui trouvent en cette technologie de nombreux cas d’usage répondant à leurs besoins. Bien que Microsoft demeure leader du marché avec son HoloLens, d’autres alternatives voient le jour (Magic Leap, Meta, …) montrant une concurrence qui se mobilise sur ce marché porteur. Le casque HoloLens 2 reste le plus démocratisé à date, notamment pour son intégration de l’écosystème Microsoft, bien connu des entreprises, et ses nombreuses applications déjà existantes.

D’un point de vue technologique, le futur de la Réalité Mixte réside dans la miniaturisation de son dispositif et l’augmentation de sa précision. Ces appareils ressembleront plus à des lunettes qu’à des casques d’ici quelques années, permettant d’en simplifier l’usage et la portabilité. Les capteurs permettant de reconnaître l’environnement mais aussi nos mains pourront être plus précis, capables par exemple de reconnaître et corriger le geste d’un apprenant dans sa manipulation. Des algorithmes d’intelligence artificielle couplés aux capteurs permettront de faire un certain nombre de remontées de données automatiquement, en scannant par exemple l’environnement à la recherche d’éléments significatifs, tels qu’un défaut ou une faille à corriger sur un produit.

D’un point de vue métier, le futur de ces technologies réside dans une intégration toujours plus forte aux environnements de travail. Comme les smartphones ou certains équipements de sécurité, ces lunettes pourraient devenir le nouvel outil indispensable pour réaliser nos activités. Cela permettra entre autres d’afficher des informations en temps réel au sein de notre espace de travail, pour afficher l’état d’une machine ou d’un patient, et de suivre une procédure guidée en cas de tâche compliquée à réaliser.

On parle également de « Metavers » industriel, désignant l’ajout d’éléments augmentés au sein d’une usine pour en fluidifier les usages. Un opérateur pourra ainsi faire une ronde habituelle et observer d’un coup d’œil l’état de l’ensemble des machines en temps réel, et déclencher si besoin une procédure de maintenance assistée. La connexion IoT (Internet of Things) des machines et objets connectés avec les dispositifs de Réalité Mixte est une piste sérieuse pour renforcer leur intégration dans l’écosystème métier.

Comment se lancer dans la Réalité Mixte ?

La Réalité Mixte offre plusieurs possibilités. C’est en découvrant et en manipulant cette technologie que les cas d’usage émergent le plus souvent. Des partenaires tels que innoteo sont à votre disposition pour vous présenter les usages et les solutions existantes pour répondre à vos besoins. Vous pouvez contacter nos équipes pour obtenir une première démonstration. Nous vous assistons dans vos réflexions jusqu’au déploiement, en formant vos équipes pour que vous soyez entièrement autonomes sur ces nouveaux outils par la suite.

Pour bien débuter, nous vous conseillons de découvrir les témoignages et retours d’expérience d’entreprises déjà équipées. Cela vous permettra d’avoir un visuel concret du déploiement final de ces technologies. Vous découvrirez sur ce site des témoignages clients tels que Saint-Gobain, un grand groupe ayant des besoins de maintenance, ou encore Setforge, une PME souhaitant digitaliser ses procédures pour former plus efficacement ses collaborateurs.

Une autre possibilité est de découvrir directement les applications existantes. Vous trouverez ci-dessous les liens vers deux applications pour répondre à des besoins de formation, maintenance et assistance à distance. Elles sont proposées par innoteo & Microsoft sur le casque de Réalité Mixte HoloLens. Même si vous ne disposez pas de ce casque, ces applications sont de parfaites illustrations de l’usage métier et concret que ces technologies offrent aux professionnels.