Les smart glasses peuvent ressembler à un simple gadget grand public : une caméra sur le visage, des haut-parleurs dans les oreilles et un assistant IA capable de répondre à des questions sur ce que vous voyez. Mais un même appareil peut offrir à un système d’IA ce qui lui a toujours manqué : une vue à la première personne de la vie humaine quotidienne.

Cela compte, car apprendre à une IA à écrire ou à générer des images est très différent d’apprendre à une machine à se déplacer dans le monde physique. Un robot doit comprendre où se trouvent les objets, ce qui se passe lorsqu’ils bougent et comment les mains interagissent avec des choses qui se plient, se cassent, se renversent ou changent de forme.

Meta consacre depuis des années des recherches aux appareils portables qui captent ce type d’informations. Ses lunettes Ray-Ban Meta intègrent une partie de cette technologie dans un produit grand public, ce qui permet à l’entreprise d’accéder aux données générées lors d’activités ordinaires.

Un test de 72 heures des lunettes, en utilisant leurs fonctionnalités d’IA tout au long de la journée et en demandant les données associées, a donné un aperçu des raisons pour lesquelles les enregistrements à la première personne peuvent être précieux pour entraîner l’IA, et pour lesquelles le respect de la vie privée devient plus difficile à dissocier de la technologie elle-même.

Comment l’IA apprend du monde réel

Les grands modèles de langage apprennent à partir d’énormes collections de textes. Cela fonctionne bien pour les systèmes construits autour du langage, mais le texte ne peut pas décrire entièrement la façon dont une personne peut faire des choses comme se déplacer dans une cuisine, prendre une bouteille, casser un œuf ou retrouver ses clés.

Les êtres humains apprennent ces choses au fil d’années d’expérience sensorielle. L’ancien scientifique en chef de l’IA de Meta, Yann LeCun, a fait valoir qu’à quatre ans, un enfant a vu 50 fois plus de données que les plus grands modèles de langage. Son idée plus générale est que les machines ont besoin de données sensorielles plus riches pour comprendre le monde physique.

Pour un robot, cela signifie apprendre à partir de bien plus que des instructions. Il a besoin de données sur ce que les gens font réellement, y compris les petites variations difficiles à décrire avec des mots. Ainsi, faire la vaisselle peut sembler banal. Mais une fois ces séquences labellisées et annotées, elles peuvent montrer à un système d’IA où se trouvent les objets, comment les mains bougent et ce qui se passe quand un imprévu survient.

Ce type de données d’entraînement est difficile à collecter à grande échelle. Une caméra portable offre une solution possible, car elle peut capturer le monde depuis la même perspective que la personne qui effectue la tâche. Comme le formule l’argument de LeCun : « Il lui faut des yeux ».

Pourquoi Meta utilise des smart glasses

Meta travaille sur ce problème depuis des années dans le cadre du Project Aria(nouvelle fenêtre), un programme de recherche construit autour d’ordinateurs portables au format lunettes. Les appareils de recherche utilisent des caméras et d’autres capteurs pour étudier la façon dont les gens interagissent avec le monde.

Le Project Aria montre aussi à quel point les attentes en matière de respect de la vie privée peuvent différer entre la recherche et l’usage grand public. Les directives publiées par Meta indiquent que les participants aux recherches sont formés aux bonnes pratiques d’enregistrement, que les personnes présentes dans des foyers privés doivent donner leur consentement et qu’une lumière visible indique quand l’audio et la vidéo sont collectés.

Les smart glasses grand public fonctionnent dans un environnement bien moins contrôlé. On peut les porter en marchant dans la rue, en faisant ses courses, en préparant du café ou en effectuant des tâches ménagères. Cela crée une source utile de données à la première personne. Cela signifie aussi que l’entourage de la personne qui les porte peut apparaître dans les enregistrements sans savoir qu’une caméra est active.

Cette distinction est importante, car la valeur de ces données tient à leur caractère ordinaire. Leur valeur vient de la captation des petites informations du quotidien.

Ce que les robots doivent apprendre

Les chercheurs travaillent sur plusieurs problèmes qui paraissent simples pour les humains, mais difficiles pour les machines. Le premier est la mémoire épisodique. Demander à une IA où vous avez laissé vos clés semble facile, mais le système doit reconnaître l’objet, comprendre quand il a été vu pour la dernière fois et garder la trace de ce qui s’est passé entre-temps.

Un autre est la physique intuitive. Si vous faites rouler une balle vers une table, vous avez déjà une idée de ce qui va se passer. Les humains développent ces prédictions au fil d’années d’observation du monde physique.

Le troisième concerne les interactions main-objet. Nouer des lacets, boutonner une chemise, ramasser un objet ou manipuler un morceau de tissu obligent une machine à gérer des objets qui peuvent se plier et se déformer. Ce sont le genre de situations que les enregistrements à la première personne peuvent capturer.

Pendant le test de 72 heures, les activités ordinaires correspondaient étonnamment bien à ces problématiques de recherche. Conduire impliquait de prédire comment les objets se déplacent dans l’espace. Prendre une bouteille ou casser un œuf relevait de l’interaction main-objet. Regarder un œuf rouler d’un plan de travail relevait de la physique intuitive. Demander où les clés avaient été laissées était une tâche de mémoire épisodique.

L’idée n’est pas que chaque enregistrement banal devienne immédiatement une donnée d’entraînement utile. C’est que l’activité humaine ordinaire contient les exemples dont l’IA incarnée a besoin.

Ce que les lunettes de Meta peuvent capturer

Meta affirme que les lunettes Ray-Ban Meta n’enregistrent pas en continu tout ce qui entoure la personne qui les porte pour entraîner son IA. Selon l’entreprise, les données utilisées pour entraîner son IA et susceptibles d’être examinées par des humains comprennent les commandes vocales et les vidéos captées lorsqu’un utilisateur demande quelque chose à l’IA.

Lorsque l’IA doit analyser ce que voit la caméra, les séquences concernées peuvent être envoyées aux serveurs de Meta pour y être traitées. L’entreprise peut ensuite utiliser ces informations pour améliorer ses systèmes d’IA. Une personne peut interroger les lunettes sur un objet, un emplacement, une tâche ou ce qui se passe devant elle, ce qui crée un enregistrement de ces interactions à la première personne.

Meta a aussi introduit Live AI, qui rend l’assistant accessible sans nécessiter la phrase d’activation habituelle. Les lunettes deviennent ainsi plus utiles comme assistant en temps réel, tout en augmentant la durée pendant laquelle leur caméra et leur microphone peuvent être actifs.

Un autre problème de respect de la vie privée est plus difficile à résoudre par les paramètres. La personne qui porte l’appareil en a le contrôle, mais pas celles qui l’entourent. Pendant le test, les visages ont été floutés dans les contenus examinés, mais les personnes autour de la personne qui portait les lunettes ne savaient pas qu’elles étaient enregistrées. Cela diffère du processus de recherche du Project Aria de Meta, où les participants et les personnes se trouvant dans certains environnements privés font l’objet d’exigences de consentement explicite.

Ce qui indique les projets robotiques de Meta

L’idée selon laquelle Meta pourrait utiliser les données d’appareils portables pour aider à construire des robots reste une hypothèse sur la stratégie globale de l’entreprise, plutôt qu’un fait que les lunettes suffiraient à prouver. Plusieurs éléments viennent toutefois l’étayer.

En février 2025, Meta a créé une division de robotique humanoïde au sein de Reality Labs, la même organisation au sens large que celle responsable de ses smart glasses. En mai 2026, Meta a également acquis Assured Robot Intelligence, un laboratoire de robotique cofondé par Lerrel Pinto.

Meta a aussi déclaré vouloir que sa technologie serve de couche logicielle pour les robots humanoïdes. Ses recherches ont déjà exploré comment les enregistrements égocentriques peuvent aider les robots à apprendre des tâches physiques. Les lunettes ont donc un intérêt qui dépasse leur rôle d’assistant IA. Elles réunissent caméras, microphones et IA dans un appareil que l’on peut porter toute la journée.

Les prototypes d’appareils portables de nouvelle génération de Meta sont décrits comme allant vers une détection plus continue et un meilleur suivi des objets. Ces capacités pourraient produire des données plus utiles sur la façon dont les gens interagissent avec le monde physique.

Rien de tout cela ne prouve que Meta collecte en secret chaque instant de la vie de ses clients pour bâtir une armée de robots. Cela montre en revanche pourquoi les données à la première personne issues d’appareils portables pourraient avoir une valeur stratégique pour une entreprise qui investit massivement à la fois dans l’IA et dans la robotique.

La question de fond

Les smart glasses rendent l’IA plus utile, car elles lui donnent accès au monde qui nous entoure. Cette même capacité les distingue des assistants IA auxquels la plupart des gens sont habitués. La question est de savoir qui décidera comment cette source de données de plus en plus personnelle est collectée, traitée et utilisée.

À mesure que l’IA quitte l’écran pour investir le monde physique, les données à la première personne prennent de la valeur.

Il devient donc de plus en plus important de comprendre ce qu’un appareil peut voir, entendre, stocker et envoyer.