Künstliche Intelligenz trifft Virtual Reality
Gute Nachricht für Philipp Ladwig und Marcel Tiator, Mitarbeiter im FB Medien der HS Düsseldorf. Auf der renommierten IEEE Konferenz 
"Artificial Intelligence und Virtual Reality" wurden zwei Arbeiten als "full paper" akzeptiert. Beide Beiträge behandeln zentrale Konzepte der Promotionsprojekte der beiden Düsseldorfer und sind daher ein weiterer wichtiger Meilenstein auf dem Weg zum Doktortitel.
Marcel Tiator arbeitet in einer Kooperation mit der Uniklinik Düsseldorf an der interaktiven Begehung der Intensivstation in Virtual Reality, damit sich etwa Patienten vor einem stationären Aufenthalt mit der Umgebung vertraut machen können. Dazu wird die Umgebung mittels 3D-Scanverfahren (LIDAR, Photogrammetrie) digitalisiert und musste bisher aufwändig segmentiert werden. Das bedeutet, dass man aus der riesigen digitalen Punktwolke einzelne Objekte extrahiert, damit man mit einzelnen Elementen interagieren kann, zum Beispiel eine virtuelle Tür öffnen. Marcel Tiator hat ein intelligentes Verfahren basierend auf neuronalen Netzen entwickelt, das diesen Prozess automatisiert. Ein Schwerpunkt der Publikation ist das Anlernen des neuronalen Netzwerkes. Hierfür wurde eine neue Heuristik entwickelt, wodurch dem Netzwerk gute Entscheidungen demonstriert werden. Ähnlich wie ein Lehrer in einer Schule hilft die Heuristik dem Netzwerk beim Lernen. Dabei wurden zwei Lernformen miteinander verglichen: Zum einen das überwachte und zum anderen das bestärkende Lernen. Beim überwachten Lernen wird das Netzwerk für schlechte Entscheidungen bestraft und dadurch besser. Beim bestärkenden Lernen wird das Netzwerk für bestimmte Entscheidungen belohnt, so dass es durch Interaktion mit der Umgebung seine Leistung steigert. Ein erster Ansatz wurde in diesem Jahr bereits auf der wichtigsten europäischen Konferenz zu Künstlicher Intelligenz, der ECAI, publiziert. Der aktuelle Beitrag verbessert das Verfahren noch einmal deutlich, da die Heuristik optimiert wurde. Dabei wurde eng mit der Informatikerin Anna Maria Kerkmann von der Heinrich-Heine Universität zusammengearbeitet.
Im zweiten Projekt verbesserte Philipp Ladwig zusammen mit Alexander Pech seine Idee, durch neuronale Netze den Gesichtsausdruck eines Nutzers unter einem Head-Mounted Display in Echtzeit zu rekonstruieren. Der Artikel beschreibt eine neuartige und kostengünstige Lösung für die Gesichtsrekonstruktion mit authentischer Mimik unter einer Virtual-Reality-Brille. Dies dient dem Zweck, dass die Teilnehmenden einer virtuellen Konferenz in der Lage sind, die Mimik des Gegenübers wahrnehmen zu können, obwohl die Gesichter jeweils von einer VR-Brille verdeckt sind. Bisherige klassische Verfahren zur digitalen Gesichtsrekonstruktion und Animation setzen umfangreiche manuelle Arbeiten bei der Aufnahme und der Nachbearbeitung voraus, die mehrere Tagen dauern können. Der neuartige Ansatz der Forscher der HSD benötigt deutlich weniger manuelle Eingriffe. So "lernt" ein generatives neuronales Netz das Gesicht einer Person innerhalb von 20 Stunden. Das neuronale Netz ist daraufhin in der Lage, mit nur wenigen Steuerparametern das gelernte Gesicht in Echtzeit räumlich wiederherzustellen. Eine Vorversion dieser Lösung erhielt auf dem VR/AR-Workshop der Gesellschaft für Informatik in diesem Jahr in Trier bereits den "Best Paper Award".
Betreuer Christian Geiger, Leiter des Teams MIREVI (Mixed Reality und Visualisierung, www.mirevi.de) am Fachbereich Medien, freut sich besonders über die Erfolge der beiden: „Beide Themen sind sehr aktuell und große „Player“ wie Microsoft, Google, NVIDIA und Facebook publizieren regelmäßig neue Resultate. Da ist es besonders schön, wenn wir als Teil eines kleinen Teams auch ein wenig mitspielen können.“
Die Arbeiten werden durch die BMBF-Projekte HIVE und iKPT40 unterstützt, an denen das MIREVI-Team der HSD beteiligt ist.
M. Tiator, A. Kerkmann, C. Geiger, P. Grimm, "Using Semantic Segmentation to Assist the Creation of Interactive VR Applications", in Proceedings of the 3rd International Conference on Artificial Intelligence & Virtual Reality - AIVR '20, Utrecht, Netherlands: IEEE, 2020. (accepted for publication)
P. Ladwig, A. Pech, R. Dörner, C. Geiger, "Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence", in Proceedings of the 3rd International Conference on Artificial Intelligence & Virtual Reality - AIVR '20, Utrecht, Netherlands: IEEE, 2020. (accepted for publication)
