Um mit Elementen in der virtuellen Welt zu interagieren, sind gängige VR-Headsets in der Regel mit Controllern ausgestattet. Nutzer:innen halten diese in den Händen und können auf Tastendruck oder per Analogstick mit allen Elementen der virtuellen Benutzerschnittstelle interagieren. Allerdings unterscheiden sich die Controller-Eingaben haptisch meist von den virtuellen Bedienelementen. Das verringert die Immersion, d.h. das Gefühl, wie unmittelbar und realistisch die VR-Welt wahrgenommen wird.

Um die Immersion zu verbessern, hat die Arbeitsgruppe von Prof. Schneegaß gemeinsam mit Partnern aus der Medieninformatik der LMU München ein Toolkit für schwebende Bedienelemente entwickelt. Dazu wählten sie zunächst fünf gängige Bedienelemente aus der virtuellen Welt (Taste, Knauf, Joystick, Schieberegler, 3D-Maus) und fertigten sie mittels 3D-Drucker nach. Die Elemente wurden auf Quadrocoptern, also kleinen Drohnen, befestigt. Die Interaktion mit diesen „Flyables“ funktioniert wie folgt: Sobald ein virtuelles Bedienelement in der virtuellen Welt sichtbar ist, steuert ein Flyable mit dem passenden Element zur entsprechenden Stelle im Raum. Nutzer können es berühren und greifen und erfahren dabei ein haptisches Feedback, das der Form des virtuellen Bedienelements entspricht. Ein weiterer Vorteil der Flyables ist, dass sie nicht permanent festgehalten werden müssen.

In einer Nutzerstudie haben die Forscher:innen die Interaktion mit den Flyables mit der Controller-basierten Eingabe verglichen. Eines der untersuchten VR-Szenarien war die Steuerung eines Flugzeugs. Die Probanden lenkten das Flugzeug mit einem schwebenden Joystick und regelten mittels Schieberegler die Geschwindigkeit (siehe Bild). Die Studie zeigte, dass die Flyables eine realistische und spielerische Interaktion mit virtuellen Inhalten ermöglichen. Die Teilnehmer:innen gaben an, dass sie mit den Flyables stärker in die VR-Umgebung eintauchen konnten, als mit den Controllern. Auch die realistische Haptik überzeugte sie.

Allerdings befinden sich die Flyables aktuell im Prototypen-Stadium und können in Bezug auf die Eingabepräzision noch nicht mit modernen Controllern mithalten. Die Wissenschaftler:innen werden daher weiter an der Technik der Flyables arbeiten. Ein Thema ist die Verbesserung der Kraftrückkopplung. Ein weiteres Ziel ist es, die passenden Flyable-Elemente automatisch und innerhalb weniger Minuten per 3D-Druck herstellen zu können.