Virtual Reality (VR) Erfahrungen erleben seit einigen Jahren großen Zuspruch, nachdem der Hype in den 1990er Jahren wieder abgeflaut war und man über fast 20 Jahre in der Öffentlichkeit wenig über VR gehört hatte. Das liegt an deutlich verbesserter Hardware mit hochauflösenden Anzeigen, die trotzdem relativ kompakt, leicht und bezahlbar geworden ist. Studien zeigen, dass die visuelle und auditive Ebene schon sehr gut abgedeckt sind. Problematisch ist dagegen immer noch die natürliche Interaktion mit der VR-Umgebung und dabei insbesondere die haptische Rückmeldung.
Im DAMMIT Vorhaben „VR-Objekttracking“ soll daher untersucht werden, ob mittels Kamera-basiertem Tracking von Ersatzobjekten aus der realen Welt, die fehlenden haptischen Reize in der virtuellen Welt kompensiert werden können. Bereits existierende Studien belegen, dass die Ersatzobjekte dabei den virtuellen Gegenstücken nur ungefähr gleichen müssen, um glaubhaft zu wirken. Im DAMMIT Vorhaben soll eine Lösung mit Low-Cost Hardware, also handelsüblichen Kameras und Rechnern, erprobt werden. Diese soll mittels tiefer neuronaler Netze die Erkennung der Objekte und ihrer Position und Rotation im 3D Raum erlauben. Um genügend Daten für das Training der neuronalen Netze zu generieren, soll ebenfalls VR eingesetzt werden. Dieser Prozess dient dem Zweck, fotorealistische Bilder des Objekts in verschiedenen Umgebungen zu erzeugen und dazu passend die 3D Koordinaten abzuspeichern. Diese werden dann zum Training des Netzes verwendet. Anschließend wird es mit wenigen anderweitig erhobenen Daten aus der realen Welt ergänzt werden, um die Erkennungsleistung weiter zu steigern.
Als Vergleich für die Qualität der eigenen Lösung dient eine von der Firma Advanced Realtime Tracking (kurz AR Tracking) bereitgestellte High-End Installation, die als Teststellung im iisys genutzt werden kann. Zudem wird mit einem handelsüblichen Vive Tracker die Genauigkeit am Beispiel größerer Objekte verglichen, da dieser für kleinere Objekte, wie z.B. einen Schraubenschlüssel oder einen Messschieber aufgrund seiner eigenen Größe nicht gut geeignet ist. Er kann jedoch problemlos für Stühle und Tische eingesetzt werden.
Die Firma AR Tracking evaluiert die Lösung auf ihre Praxistauglichkeit.
Die Ergebnisse der Studie, sowie die entstehende Software werden frei veröffentlicht und unter eine permissive Open Source bzw. Creative Commons Lizenz gestellt.
