Qu'est-ce que la réalité mixte ?

Read in English (Lire en Anglais).

La réalité mixte, ou l'intégration d'informations numériques dans le monde réel, est un concept auquel on réfléchit depuis plus de 100 ans. Depuis au moins les années 1930, des écrivains et des penseurs imaginent un avenir où la technologie pourrait nous faire sortir de nos expériences du monde réel. Mais ce n'est qu'en 1994 que l'expression « réalité mixte » a été inventée par Paul Milgram, un économiste américain qui a reçu le prix Nobel d'économie en 2020, et Fumio Kishino, ancien directeur du Cybermedia Center de l'université d'Osaka.

Leur article, intitulé « A Taxonomy of Mixed Reality Visual Displays », traite des écrans de réalité mixte et identifie six catégories d'environnements d'affichage pour la réalité mixte. Ce faisant, ils ont également défini le concept de continuum réalité-virtualité, l'idée selon laquelle le monde réel et le monde virtuel existent aux extrémités opposées d'un spectre, la réalité mixte formant le degré intermédiaire. Au cours des décennies qui ont suivi, les avancées technologiques en matière de réalité mixte ont intégré la cartographie spatiale et la compréhension de l'environnement, le suivi des mains et des yeux, la perception du son selon sa dimension spatiale et la capacité de mener un travail collaboratif sur des ressources en 3D. 

Qu'est-ce que la réalité mixte ?

La réalité mixte est une technologie qui nous permet d'interagir avec du contenu numérique superposé au monde réel. Par exemple, un filtre de média social qui vous fait ressembler à un chat fonctionne avec la technologie de la réalité mixte pour modifier votre vision du monde réel. Contrairement à la réalité virtuelle, qui éloigne les utilisateurs du monde réel, la réalité mixte nous permet de fusionner les deux de manière naturelle et intuitive. 

Réalité mixte, réalité augmentée etréalité virtuelle

La réalité mixte est étroitement liée à la réalité augmentée et à la réalité virtuelle. En fait, ces concepts existent sur une échelle appelée le continuum réalité-virtualité ou le spectre de la réalité mixte. La réalité existe à une extrémité, le monde physique dont nous faisons l'expérience. À l'autre extrémité du continuum, la réalité virtuelle existe en tant qu'environnement complètement éloigné de la réalité. Pour pénétrer dans un espace de RV, il faut d'abord enfiler un casque ou un autre dispositif qui donne la sensation d'être complètement ailleurs. Entre ces deux extrêmes, la réalité mixte et la réalité augmentée brouillent les frontières entre le réel et le virtuel, vous permettant d'interagir simultanément avec des objets réels et virtuels. 

La réalité virtuelle

La réalité virtuelle est un environnement entièrement simulé que vous expérimentez en coupant vos sens de la réalité, par exemple à l'aide d'un casque. La réalité virtuelle vous permet d'expérimenter des choses que vous ne pourriez pas faire autrement, comme monter sur des montagnes russes assis sur le canapé de votre salon ou marcher sur la surface de la lune. Bien que vous ne voyiez aucun élément du monde réel (votre salon), vous êtes limité aux paramètres de votre espace réel lorsque vous utilisez la RV. Par exemple, vous ne pourriez pas explorer une grande partie de la surface de la lune avant que la réalité physique de votre environnement ne vous oblige à interagir avec elle, par exemple en ouvrant une porte.  

La réalité augmentée

La réalité augmentée vous maintient dans l'environnement réel et superpose un contenu numérique que vous pouvez voir et avec lequel vous pouvez interagir par l'intermédiaire d'écrans ou d'autres appareils. Par exemple, vous pouvez utiliser la réalité augmentée pour projeter l'image d'une bibliothèque dans votre salon afin de voir si elle convient à l'espace et au design de votre pièce avant de faire un achat. La réalité augmentée vous permet d'ajouter de nouvelles informations ou d'établir de nouvelles connexions avec la réalité qui se trouve devant vous. 

Réalité mixte

Le terme « réalité mixte » peut être utilisé comme terme générique pour désigner tout mélange des mondes réel et virtuel, comme dans le spectre de la réalité mixte mentionné ci-dessus. Au fur et à mesure que la technologie qui alimente la réalité mixte progresse, le terme commence à se référer à un sous-ensemble spécifique de la réalité augmentée où vous pouvez interagir simultanément avec des objets réels et numériques en temps réel. Cette technologie va plus loin que la réalité augmentée en raison de votre capacité accrue à interagir avec ce que vous voyez devant vous sur l'écran ou le casque. 

Comment fonctionne la réalité mixte ?

En termes simples, la réalité mixte fonctionne grâce à des capteurs qui fournissent à un ordinateur un aperçu de notre monde physique. De notre point de vue, l'ordinateur semble percevoir le monde réel. En utilisant différents capteurs, le processeur d'un ordinateur peut percevoir un grand nombre d'informations différentes sur le monde dans lequel nous vivons, telles que la position des objets dans la pièce, les niveaux ambiants de lumière et de son, et notre position physique lorsque nous nous déplaçons dans l'espace. 

Les autres technologies qui alimentent la réalité mixte comprennent la vision par ordinateur, l'informatique en nuage, les systèmes d'entrée, le traitement graphique et les technologies d'affichage. 

• Vision par ordinateur : La vision par ordinateur fait référence à la technologie qui permet à un ordinateur d'interpréter des informations visuelles telles que des vidéos ou des images et de prendre les mesures qui s'imposent. La réalité mixte utilise la vision par ordinateur pour voir et comprendre le monde physique. 

• Informatique en nuage (cloud computing) : L'informatique en nuage est la technologie qui vous permet d'accéder à des logiciels, des systèmes ou d'autres fichiers par l'intermédiaire du cloud au lieu de les stocker localement sur l'équipement de votre entreprise. Comme exemple d'informatique en nuage dans la réalité mixte, citons Azure Remote Rendering, qui offre un traitement graphique auquel vous pouvez accéder à la demande par le biais de l'informatique en nuage. 

• Systèmes d'entrée : Les systèmes d'entrée sont les moyens par lesquels vous pouvez interagir avec un environnement de réalité mixte, par exemple à l'aide d'un contrôleur. D'autres exemples de systèmes d'entrée pourraient vous permettre d'interagir avec le contenu numérique par des gestes ou des pointeurs. 

• Traitement graphique : Les unités de traitement graphique (GPU) utilisent le traitement graphique pour produire des images en 3D. Vous pouvez utiliser ce composant de réalité mixte pour produire des images numériques dans un espace physique. 

• Technologies d'affichage : Les technologies d'affichage produisent des informations visuelles, ce sont par exemple un écran de télévision, un moniteur d'ordinateur ou l'écran d'un smartphone. De nombreuses formes de réalité mixte nécessitent un écran d'affichage pour visualiser le contenu numérique. 

À quoi sert la réalité mixte ?

Les utilisations et les applications de la réalité mixte sont vastes et modifient déjà le paysage de secteurs tels que les soins de santé, l'éducation, le divertissement, les jeux, les affaires et l'architecture. Examinons quelques-uns des cas d'utilisation les plus courants de la réalité mixte. 

• Jeux : Le jeu Pokemon Go, qui a été lancé et est devenu populaire en 2016, a fait découvrir à de nombreuses personnes l'idée d'utiliser la réalité augmentée et mixte pour le jeu. Aujourd'hui, de nombreux autres jeux vidéo, tels que Angry Birds FPS, et des franchises comme Star Wars tirent parti de cette technologie. 

• Soins de santé : La réalité mixte offre des solutions pour les soins de santé de diverses manières, qu'il s'agisse de former de nouveaux professionnels de la santé ou d'améliorer l'imagerie et les soins aux patients. Par exemple, HoloAnatomy, développée à la Case Western Reserve University, est une application qui utilise HoloLen de Microsoft pour projeter des planches anatomiques détaillées dans un espace où les utilisateurs peuvent interagir avec elles. Les professionnels de la santé peuvent également utiliser la réalité mixte en chirurgie, lors du dépistage d'anomalies cardiaques, pour la précision en radiologie, etc. 

• L'éducation : La réalité mixte peut être un outil de formation et d'éducation, à la fois dans une salle de classe et pour fournir une formation sur le lieu de travail. Au lieu de s'engager dans des exercices de formation complexes ou dangereux, les instructeurs et les étudiants peuvent effectuer des exercices de formation simulés. L'université du Grand Canyon a mené des expériences en utilisant la réalité mixte en classe et a trouvé de nombreux avantages à l'intégration de cette technologie, notamment la possibilité de créer un laboratoire d'expérimentation n'importe où grâce à des moyens virtuels, d'éliminer certains des coûts de fonctionnement d'un laboratoire et de fournir un exercice d'apprentissage attrayant pour les étudiants. 

• Ingénierie : Les ingénieurs ont déjà fait de la réalité virtuelle un outil important pour concevoir des constructions complexes et modéliser des structures conceptuelles. La réalité mixte offre des possibilités supplémentaires en sortant ces modèles 3D des écrans d'ordinateur isolés et en les plaçant dans un environnement réel où une équipe peut les manipuler en collaboration. Cette forme de réalité mixte utilise l'informatique holographique, comme le Hololens de Microsoft.  

Carrières dans la réalité mixte 

La technologie de la réalité mixte nécessite un certain nombre de professionnels pour concevoir, créer, tester et prendre en charge les logiciels et le matériel de réalité mixte. Bien que nous ayons souligné ci-dessus les différences entre la réalité virtuelle, augmentée et mixte, de nombreuses descriptions de poste et titres ne sont pas aussi précis. Vous pouvez trouver le travail que vous recherchez dans le domaine de la réalité mixte sous un titre de poste intitulé réalité augmentée ou virtuelle. Examinons de plus près trois carrières potentielles dans le domaine de la réalité mixte ou de la réalité étendue : Développeur AR/VR, ingénieur logiciel AR/VR et producteur de réalité virtuelle. 

Développeur XR

Salaire annuel moyen en France (Glassdoor) : 29 028 € [1]

Perspectives d'emploi : Selon le rapport « Les métiers en 2030 » de France Stratégie, la catégorie des métiers de l’informatique et de la recherche sera entre 2019 et 2030 la deuxième plus importante pour la création d’emplois, avec une création prévue de 180 000 postes [2].

Formation requise : Les développeurs XR doivent au minimum obtenir une licence en informatique ou dans un domaine connexe, tel que l'ingénierie ou les mathématiques, mais une formation bac + 5 est de plus en plus recommandée [3]. 

En tant que développeur en réalité augmentée ou virtuelle, vous aiderez à créer des expériences à l'aide de la technologie AR et VR. Vous utiliserez des outils tels que Unity et Unreal Engine pour créer directement des logiciels, et vous pourrez également jouer un rôle dans la conception et le test des logiciels, ainsi que dans l'élaboration de la stratégie générale du produit. Dans cette carrière, vous ferez partie d'une équipe composée d'autres développeurs et de professionnels tels que des concepteurs et des chefs de projet. 

Ingénieur logiciel AR/VR

Salaire annuel moyen en France (Glassdoor) : 32 316 € [4]

Perspectives d'emploi : Le rapport « Les métiers en 2030 » de France Stratégie précise que la catégorie des ingénieurs en informatique sera la plus dynamique en matière de création d’emplois entre 2019 et 2030, avec 120 000 créations prévues [2]

Formation requise : Un niveau bac + 5, du type diplôme d’ingénieur ou master en informatique, incluant la programmation et l'expérience technique, avec des compétences dans le domaine de la réalité virtuelle [5].

En tant qu'ingénieur logiciel en réalité augmentée ou virtuelle, vous concevrez, déboguerez et développerez des prototypes pour des produits qui créent des environnements de RV ou de RA. Dans ce rôle, vous pouvez travailler à l'élaboration de solutions logicielles VR/AR ou à la conception de produits matériels destinés à prendre en charge les environnements VR/AR. 

Producteur VR / Producer VR

Salaire annuel moyen en France (Gaming Campus) : 39 900 € [6]

Perspectives d'emploi : les mêmes bonnes perspectives que pour les métiers de développeur XR et d’ingénieur AR/VR 7 pour cent [2]

Formation requise : Un diplôme bac + 5 en réalité virtuelle est le minimum. Il faut y ajouter plusieurs années d’expérience dans le domaine pour pouvoir occuper un poste de producer VR [7].

En tant que producteur de réalité virtuelle ou créateur de contenu, vous créerez la composante visuelle des projets de réalité virtuelle. Dans ce rôle, vous pouvez créer du contenu de deux manières principales : par des moyens entièrement numériques basés sur le codage d'une expérience interactive ou en recueillant des vidéos et des sons du monde réel pour peupler votre monde virtuel. 

Commencer avec Coursera

Si vous êtes prêt à passer à l'étape suivante et à en apprendre davantage sur une carrière dans la réalité mixte ou la réalité étendue, pensez à Intro to AR/VR/MR/XR : Technologies, Applications & Issues, un cours de niveau débutant proposé par l'Université du Michigan sur Coursera. Ce cours dure environ 28 heures et fait partie de la grande spécialisation Extended Reality for Everybody.