Trainieren Metas Smart Glasses KI für Roboter?

Smart Glasses können wie ein simples Verbrauchergerät wirken: eine Kamera im Gesicht, Lautsprecher in den Ohren und ein KI-Assistent, der Fragen zu dem beantworten kann, was du siehst. Doch dasselbe Gerät kann einem KI-System etwas geben, das ihm schon immer fehlte: eine Ich-Perspektive auf den Alltag der Menschen.

Das ist wichtig, denn einer KI das Schreiben oder Erzeugen von Bildern beizubringen, ist etwas ganz anderes, als einer Maschine beizubringen, sich in der physischen Welt zu bewegen. Ein Roboter muss verstehen, wo sich Objekte befinden, was passiert, wenn sie sich bewegen, und wie Hände mit Dingen interagieren, die sich biegen, zerbrechen, verschütten oder ihre Form verändern.

Meta erforscht seit Jahren tragbare Geräte, die diese Art von Informationen erfassen. Die Ray-Ban Meta Brillen bringen einen Teil dieser Technologie in ein Verbraucherprodukt und geben dem Unternehmen Zugriff auf Daten, die bei alltäglichen Aktivitäten entstehen.

Ein 72-Stunden-Test der Brille, bei dem ihre KI-Funktionen den ganzen Tag über genutzt und die zugehörigen Daten angefordert wurden, gab einen Einblick, warum Aufnahmen aus der Ich-Perspektive für das Training von KI wertvoll sein könnten und warum es immer schwieriger wird, die Privatsphäre von der Technologie selbst zu trennen.

Wie KI aus der realen Welt lernt

Große Sprachmodelle lernen aus riesigen Sammlungen schriftlichen Materials. Das funktioniert gut für Systeme, die auf Sprache aufbauen, doch Text kann nicht vollständig beschreiben, wie Menschen Dinge tun, etwa sich in einer Küche bewegen, eine Flasche aufheben, ein Ei aufschlagen oder ihre Schlüssel finden.

Menschen lernen diese Dinge durch jahrelange sinnliche Erfahrung. Metas ehemaliger Chef-KI-Wissenschaftler Yann LeCun hat argumentiert, dass ein Kind bis zum Alter von vier Jahren 50-mal mehr Daten gesehen hat als selbst die größten Sprachmodelle. Sein übergeordneter Punkt ist, dass Maschinen reichhaltigere sensorische Eingaben brauchen, wenn sie die physische Welt verstehen sollen.

Für einen Roboter bedeutet das, mehr als nur aus Anweisungen zu lernen. Er braucht Daten darüber, was Menschen tatsächlich tun, einschließlich der kleinen Abweichungen, die sich schwer in Worte fassen lassen. Wenn jemand zum Beispiel den Abwasch macht, mag das alltäglich aussehen. Doch sobald dieses Material kategorisiert und annotiert ist, kann es einem KI-System zeigen, wo sich Objekte befinden, wie sich Hände bewegen und was passiert, wenn etwas Unerwartetes eintritt.

Solche Trainingsdaten sind in großem Umfang schwer zu sammeln. Eine tragbare Kamera bietet eine mögliche Lösung, weil sie die Welt aus derselben Perspektive erfassen kann wie die Person, die die Aufgabe ausführt. LeCun bringt es auf den Punkt: „Sie braucht Augen.”

Warum Meta Smart Glasses einsetzt

Meta arbeitet seit Jahren an diesem Problem, und zwar über Project Aria(neues Fenster), ein Forschungsprogramm rund um tragbare Computer in Brillenform. Die Forschungsgeräte nutzen Kameras und andere Sensoren, um zu untersuchen, wie Menschen mit der Welt interagieren.

Project Aria zeigt auch, wie unterschiedlich die Erwartungen an die Privatsphäre zwischen Forschung und Verbrauchernutzung sein können. In den veröffentlichten Richtlinien von Meta heißt es, dass Forschungsteilnehmer in geeigneten Aufzeichnungspraktiken geschult werden, dass Personen in Privatwohnungen zustimmen müssen und dass ein sichtbares Licht anzeigt, wenn Audio und Video aufgezeichnet werden.

Smart Glasses für Verbraucher werden in einer viel weniger kontrollierten Umgebung verwendet. Man kann sie tragen, während man die Straße entlanggeht, einkauft, Kaffee kocht oder Hausarbeiten erledigt. Das schafft eine nützliche Quelle für Daten aus der Ich-Perspektive. Es bedeutet aber auch, dass Personen in der Umgebung der Trägerin oder des Trägers in Aufnahmen erscheinen können, ohne zu wissen, dass eine Kamera aktiv ist.

Der Unterschied ist wichtig, weil der Wert dieser Daten in ihrer Alltäglichkeit liegt. Ihr Wert liegt darin, die kleinen Details des Alltags festzuhalten.

Was Roboter lernen müssen

Forscher arbeiten an mehreren Problemen, die für Menschen einfach aussehen, für Maschinen aber schwierig sind. Eines davon ist das episodische Gedächtnis. Eine KI zu fragen, wo du deine Schlüssel liegen gelassen hast, klingt einfach, doch das System muss das Objekt erkennen, verstehen, wann es zuletzt gesehen wurde, und nachverfolgen, was in der Zwischenzeit passiert ist.

Ein weiteres ist die intuitive Physik. Wenn du einen Ball auf einen Tisch zurollen lässt, hast du bereits eine Erwartung, was passieren wird. Menschen entwickeln diese Vorhersagen durch jahrelange Beobachtung der physischen Welt.

Das dritte betrifft die Interaktion zwischen Hand und Objekt. Schnürsenkel binden, ein Hemd zuknöpfen, etwas aufheben oder ein Stück Stoff handhaben – all das verlangt von einer Maschine den Umgang mit Objekten, die sich biegen und verformen können. Genau solche Situationen können Aufnahmen aus der Ich-Perspektive einfangen.

Während des 72-Stunden-Tests ließen sich alltägliche Aktivitäten überraschend gut diesen Forschungsproblemen zuordnen. Beim Autofahren ging es darum, vorherzusagen, wie sich Objekte im Raum bewegen. Eine Flasche aufzuheben oder ein Ei aufzuschlagen war eine Interaktion zwischen Hand und Objekt. Ein Ei von der Arbeitsplatte rollen zu sehen, war intuitive Physik. Die Frage, wo die Schlüssel liegen gelassen wurden, war eine Aufgabe für das episodische Gedächtnis.

Der Punkt ist nicht, dass jede alltägliche Aufnahme sofort zu nützlichen Trainingsdaten wird. Sondern dass gewöhnliche menschliche Aktivität die Beispiele enthält, die verkörperte KI braucht.

Was Metas Brillen erfassen können

Meta sagt, dass die Ray-Ban Meta Brillen nicht kontinuierlich alles in der Umgebung der Trägerin oder des Trägers für das KI-Training aufzeichnen. Laut dem Unternehmen umfassen die Daten, die zum Trainieren der KI verwendet und möglicherweise von Menschen überprüft werden, die Sprachbefehle und Videos, die aufgezeichnet werden, wenn ein Benutzer die KI um etwas bittet.

Wenn die KI analysieren muss, was die Kamera sieht, kann das entsprechende Filmmaterial zur Verarbeitung an die Server von Meta gesendet werden. Das Unternehmen kann diese Informationen dann nutzen, um seine KI-Systeme zu verbessern. Man kann die Brille nach einem Objekt, einem Standort, einer Aufgabe oder etwas, das gerade vor einem geschieht, fragen, wodurch ein Protokoll dieser Interaktionen aus der Ich-Perspektive entsteht.

Meta hat außerdem Live AI eingeführt, wodurch der Assistent verfügbar ist, ohne dass das übliche Aktivierungswort nötig ist. Das macht die Brille als Echtzeit-Assistenten nützlicher, erhöht aber auch die Zeit, in der Kamera und Mikrofon aktiv sein können.

Es gibt noch ein weiteres Datenschutzproblem, das sich schwerer über Einstellungen lösen lässt. Die Trägerin oder der Träger kontrolliert das Gerät, alle anderen in der Umgebung jedoch nicht. Während des Tests wurden in dem überprüften Material Gesichter unkenntlich gemacht, doch die Menschen in der Umgebung der Trägerin oder des Trägers wussten nicht, dass sie aufgezeichnet wurden. Das unterscheidet sich vom Forschungsprozess von Meta bei Project Aria, wo für Teilnehmer und Personen in bestimmten privaten Umgebungen ausdrückliche Einwilligungspflichten gelten.

Was auf Metas Robotik-Pläne hindeutet

Die Vorstellung, dass Meta tragbare Daten nutzen könnte, um Roboter zu bauen, ist noch eine Hypothese über die übergeordnete Strategie des Unternehmens und nicht etwas, das die Brille allein beweist. Es gibt jedoch mehrere Hinweise, die dafürsprechen.

Im Februar 2025 gründete Meta innerhalb von Reality Labs eine Abteilung für humanoide Robotik – dieselbe übergeordnete Organisation, die auch für die Smart Glasses verantwortlich ist. Im Mai 2026 übernahm Meta außerdem Assured Robot Intelligence, ein Robotik-Labor, das Lerrel Pinto mitgegründet hat.

Meta hat außerdem erklärt, dass seine Technologie als Software-Schicht für humanoide Roboter dienen soll. In der Forschung wurde bereits untersucht, wie egozentrische Aufnahmen Robotern helfen können, physische Aufgaben zu lernen. Das macht die Brille über ihre Rolle als KI-Assistent hinaus relevant. Sie vereint Kameras, Mikrofone und KI in einem Gerät, das man den ganzen Tag tragen kann.

Die tragbaren Prototypen der nächsten Generation von Meta werden als ein Schritt hin zu einer kontinuierlicheren Erfassung und einer stärkeren Objektverfolgung beschrieben. Diese Fähigkeiten könnten nützlichere Daten darüber liefern, wie Menschen mit der physischen Welt interagieren.

Nichts davon belegt, dass Meta heimlich jeden Moment im Leben seiner Kunden sammelt, um eine Roboterarmee aufzubauen. Es zeigt aber, warum Daten aus tragbaren Geräten in der Ich-Perspektive für ein Unternehmen, das stark in KI und Robotik investiert, strategisch wertvoll sein könnten.

Die größere Frage

Smart Glasses machen KI nützlicher, weil sie ihr Zugang zur Welt um uns herum verschaffen. Genau diese Fähigkeit unterscheidet sie von den KI-Assistenten, die die meisten Menschen kennen. Die Frage ist, wer entscheiden darf, wie diese zunehmend persönliche Datenquelle erfasst, verarbeitet und genutzt wird.

Wenn KI vom Bildschirm in die physische Welt übergeht, werden Daten aus der Ich-Perspektive wertvoller.

Das macht es immer wichtiger zu verstehen, was ein Gerät sehen, hören, speichern und weiterleiten kann.