Hololens 2 – anfassbare Hologramme – eine neue Dimension

Wenn ein Hologramm real wird

Ein virtuelles Objekt mit der Hand aufheben, es hochwerfen oder schnipsen? Die HoloLens 2 von Microsoft macht genau solche Interaktionen möglich. Das hat einen großen Vorteil: Anwendern muss vor dem Benutzen nicht mehr viel erklärt werden, sie können die verschiedenen Aktionen genauso ausführen, wie sie es gewohnt sind. Mit dem Tracking am Handgelenk, Eye-Gaze-Tracking und einem erweiterten Sichtfeld eröffnet die HoloLens 2 neue Optionen, direkt mit virtuellen Gegenständen zu interagieren.

Digitaler Zwilling der Hand

Die Frage für die Entwickler war: Wie können Interaktionen natürlicher gestaltet werden? Sie setzten bei den Naturgesetzen an. Aktionen wie Greifen, Schieben und Werfen bestehen alle aus den gleichen physikalischen Konzepten: Impuls, Kollision, Reibung und Schwerkraft.

Echtzeit-Physik-Engines sind ein wichtiger Bestandteil vieler Videospiele. Dort werden sie genutzt, um offene Interaktionen zwischen virtuellen Objekten zu handhaben. Bei der HoloLens 2 modellieren sie Interaktionen zwischen einem Benutzer und einem virtuellen Objekt.

Durch das Tracking der Hand simuliert das System einen digitalen Zwilling der Hand in der virtuellen Welt. Dieser repliziert Positionen, Geschwindigkeiten und Impulse verschiedener Teile der Hand. Wenn diese mit virtuellen Objekten interagiert, simuliert die Physik-Engine das Ergebnis, indem sie Schwung, Kollision, Reibung und Schwerkraft anwendet. Diese Elemente summieren sich zum Greifen, Werfen, Schnipsen oder jeder anderen Interaktion zwischen Hand und Objekt, die vorstellbar ist. Es gibt nur noch ein Problem: Der Benutzer kann das Objekt in seiner Hand nicht fühlen. Er erhält kein haptisches Feedback.

Fehlende Sinne kompensieren

Egal wie realistisch virtuelle Welten aussehen, Menschen können Hologramme nicht fühlen. Auch die HoloLens 2 kann den Tastsinn nicht simulieren. Doch die Technologie kommuniziert mit den Sinnen, auf die die Nutzer Zugriff haben: Sehen und Hören. Berührt ein User ein Objekt und lässt es los, wird ein Ton abgespielt und das Objekt leuchtet auf. Dadurch wird die Verbindung zwischen Objekt und Hand sicht- und hörbar.

Hält der Benutzer ein helles Objekt, wird Licht auf und durch seine Hand geworfen, wodurch er mehr Feedback über die Interaktion zwischen seiner Hand und dem Objekt erhält, über Tiefe, Nähe und Richtung. Dieser Beleuchtungseffekt verwischt die Grenze zwischen digital und physisch. Einige User beschrieben, dass sich ihre Hand warm anfühlte, wenn sie ein besonders helles, rot leuchtendes Hologramm hielten und dessen Wirkung auf ihrer Haut sahen, obwohl sie wussten, dass sie sich nicht wirklich erwärmen konnte.

Biegen der Regeln

Diverse Tests mit Benutzern zeigten dem Entwicklerteam der HoloLens 2, dass sich auch einige andere unerwünschte Interaktionen einschlichen. Was passiert zum Beispiel, wenn Objekte fallen gelassen werden? Ein Ausschalten der Schwerkraft in der virtuellen Realität kam nicht in Frage, weil Objekte ansonsten von Oberflächen wegschweben, auf die man sie stellt. Das Team führte das Konzept der „Oberflächengravitation“ ein. Es verleiht Objekten Schwerkraft, wenn es eine Oberfläche gibt, auf die sie fallen können. Wenn es keine Oberfläche gibt, schweben Objekte in der Luft.

Ein weiteres Problem stellte das Erreichen von Objekten in großer Höhe dar. Um an sie heranzukommen, dürfen sich Nutzer in der Realität eben nicht auf einen wackligen Stuhl stellen. Die Entwickler führten deshalb die „Telekinese“-Geste ein. Damit können Personen Objekte in ihre Hand rufen, wenn diese weit entfernt sind. Obwohl Telekinese in der Wirklichkeit nicht funktioniert, ist es eine Geste, die viele Menschen aus Filmen wie etwa Star Wars kennen und deshalb beim Nutzen der HoloLens 2 ganz einfach nachahmen.

Neue Interaktionen möglich

Die Immersion in diesem Prototyp liefert einen Einblick in eine Welt der greifbaren Mixed Reality-Interaktionen. Diese simulierte Körperlichkeit könnte die Art und Weise verändern, wie Menschen digitale Erfahrung nutzen und verstehen.

Kunden könnten beim Online-Shopping die Decke, die sie gerade betrachten, in die Hand nehmen, sie über ihr Sofa werfen, um zu sehen, wie sie aussieht, und sie dann automatisch falten und in den Einkaufskorb legen. Die Art und Weise des Unterrichtens könnte sich verändern, wenn man die Schwerkraft vermitteln könnte, indem man einen Miniaturplaneten in eine Umlaufbahn um eine Sonne schiebt, oder die Magna Carta entrollt und in den Händen hält.

Die Microsoft-Entwickler möchten mit ihren Prototypen zu einer Vision von immersiveren, spielerischen und ergebnisoffenen Interaktionen beitragen, um die neugierige und kreative Natur der Menschen zu kultivieren, virtuelle Erfahrungen zu erforschen und zu hinterfragen. Es ist der Beginn einer aufregenden Reise, um herauszufinden, wie diese Art von neuen Interaktionen in unterschiedlichen und vielseitigen Nutzererfahrungen und Anwendungsfällen zum Leben erweckt wird.