Superhumans - Walking Through Walls

In unserem Forschungsprojekt werden wir neue Datenstrukturen und Echtzeit-Methoden entwickeln, die es Anwendern ermöglichen, 3D-Daten bereits während des Scanvorgangs intuitiv zu erfassen und zu manipulieren. Die Kombination von VR- und AR-Displays mit tragbaren 3D-Sensoren ermöglicht es, dass sich Benutzer in eine Simulation von 3D-Daten hineinversetzen, die gerade live aufgenommen wird. Eine Herausforderung besteht darin, Operationen zu entwerfen, die die Rohdaten schnell genug säubern und aufbereiten, um eine Benutzererfahrung in Echtzeit zu bieten. Die andere Herausforderung ist, die Daten so zu strukturieren, dass neue Wege der Interaktion ermöglichen werden, die von physikbasierten Metaphern wie Gehen oder Fliegen entkoppelt sind. Mit unserem Projekt setzen wir einen Paradigmenwechsel für die Navigation in virtuellen und gemischten Umgebungen um. Darüber hinaus erwarten wir durch die vorgeschlagene Datenstruktur und Methoden Verbesserungen der Geschwindigkeit der Mensch-Computer-Interaktion in solchen Umgebungen. Die erwarteten Fortschritte für diese virtuellen Erfahrungen tragen direkt zu mehreren anderen grundlegenden und angewandten Forschungsgebieten bei. Anwendungen beinhalten unter anderem medizinische Gesundheitsversorgung durch 3D Visualisierung von 2D CT Scans, Geologie und Geophysik über Vermessungen und Analyse von LIDAR Daten von Oberflächen, Technik und Prototypenbau (z.B. Autos und Flugzeuge) sowie Physik, Biologie und Astronomie. Weitere mögliche Anwendungen - im losen Zusammenhang mit der Forschung - sind militärische Ausbildung, Kriminalität und Tourismus. Wir schlagen eine neue, sichtabhängige Datenstruktur vor, die effizient Konnektivität herstellt und die Traversierung unstrukturierter Daten ermöglicht, sowie ohne zusätzliche Kosten die Verdeckungen berechnet. Basierend auf dieser Datenstruktur entwickeln wir neue Methoden zur schnellen Oberflächenrekonstruktion, Kollisionserkennung sowie Navigation und interaktive Manipulation von dynamischen Umgebungen. Die neue Datenstruktur ermöglicht auch einen schnellen Zugriff auf verdeckte Sichtbereiche in der aktuellen Ansicht. Dies ermöglicht neue Methoden, um 3D-Szenen zu erforschen, zu manipulieren und zu bearbeiten und über Interaktionsmethoden hinauszugehen, die auf physikbasierte Metaphern wie Gehen oder Fliegen angewiesen sind. In gewisser Weise können wir damit die Interaktion mit 3D-Umgebungen auf eine "übermenschliche" Ebene heben. Der besondere Beitrag unseres Projektes ist, dass wir die Zeit verkürzen, die erforderlich ist, um gescannte 3D-Daten in eine strukturierte Form umzuwandeln, die es ermöglicht, durch die Szene zu surfen und die rekonstruierten Flächen zu berühren und zu bearbeiten. Post-doc Dr. Stefan Ohrhallinger wird zusammen mit Prof. Dr. Michael Wimmer, Leiter der Rendering und Modeling Gruppe des Instituts für Computergraphik und Algorithmen, der Principal Investigator sein, und Doktorand Mohamed Radwan wird ebenfalls an diesem Projekt arbeiten.

Die Hauptergebnisse unseres Projekts sind bahnbrechende Ergebnisse bei der Echtzeitvisualisierung und Erkundung großer 3D-Scans mit übermenschlichen Fähigkeiten sowie Ergebnisse bei der Kurven- und Oberflächenrekonstruktion, die viele neuartige Anwendungen ermöglichen werden. Grundlegende Ergebnisse: Wir nutzen die inhärente Verdeckungen bei der Anzeige von Punktwolken von einer bestimmten Perspektive, um zwischen diesen Schichten zu wechseln und in großen Szenen schnelle "übermenschliche" Aktionen und Bewegungen durchzuführen. Es ist uns gelungen, Kurven durch geordnete Punkte mit einer Dichte darzustellen, die der Größe ihrer Merkmale entspricht, sodass alle Details angemessen dargestellt werden. Unsere Diskretisierungsmethode ermöglicht die Bewertung der Qualität von Kurvenrekonstruktionsalgorithmen, insbesondere für diejenigen ohne theoretische Garantien, da diese Grenzen mithilfe eines Brute-Force-Ansatzes getestet werden. Bahnbrechende Leistung: Wir haben eine Deep-Learning-Methode für die Oberflächenrekonstruktion allgemeiner Formen entwickelt, die sowohl auf der globalen Form als auch auf kleinen lokalen Patches trainiert wird und somit beeindruckende Verbesserungen selbst für Formen liefert, die nicht im Trainingssatz enthalten waren. Diese Publikation wurde in drei Jahren bereits 140 Mal zitiert. Relevante Algorithmus-Beschleunigung: Wir haben einen Algorithmus implementiert, der riesige Punktwolken mit Milliarden von Punkten in Echtzeit visualisieren kann, etwa eine Größenordnung schneller als frühere Arbeiten. Außerdem sind wir in der Lage, geschlossene Oberflächen aus solchen Punktwolken zu rekonstruieren, ebenfalls um eine Größenordnung schneller und mit viel weniger Speicher als der Stand der Technik. Praxisnahe Anwendung: Unsere Kurvendiskretisierungssmethode ermöglicht die Beschleunigung von Simulationen wie Animationen z. B. auf handskizzierten Kurven oder Wärmesimulationen, da nur noch die kleinen Details dicht abgetastet werden müssen. Die von uns entwickelte Tiefendatenstruktur ermöglichte den Entwurf neuartiger Benutzeroperationen in Echtzeit, wie z. B. das Aufdecken teilweise verdeckter Objekte oder das Scrollen durch Schichten verdeckter Objekte, z. B. Wände in einem Gebäude. Als Beispielanwendung haben wir ein 3D-Szenenerkundungs-Framework vorgestellt, das schnelle, komplexere Interaktionen mit in Echtzeit dargestellten Punktwolken ermöglicht und den Weg für den Einsatz in XR-Anwendungen ebnet. Konsolidierung des Bereichs Kurvenrekonstruktion: Zusammen mit den anderen bedeutenden Forschenden auf diesem Gebiet haben wir eine umfassende Übersicht über alle hochmodernen Algorithmen erstellt, die einen Benchmark unter Verwendung einer Kombination bestehender und neuer Datensätze umfasst. Um dieses Wissen zu verbreiten, haben wir zwei Tutorials auf großen Konferenzen abgehalten. Ausblick auf die weitere Arbeit, die durch unsere Ergebnisse ermöglicht wird: Wir haben einen wenig genutzten Konnektivitätsgraphen auf die Kurvenrekonstruktion angewendet, was die Ergebnisse noch weiter verbessert hat. Dieser Graph ermöglicht es, Kurvenverarbeitungsalgorithmen von der Ebene auf Oberflächen zu übertragen, was beispielsweise für Vektorgrafiken wichtig ist. Unsere Tiefendatenstruktur kann spärliche volumetrische Daten wie Oberflächen aufgrund ihrer inhärenten 2D-Eigenschaft äußerst effizient darstellen, wodurch wir Änderungen in Punktwolken in Echtzeit erkennen können. Unsere Arbeit im Bereich der Kurvendiskretisierung kann gut in den 3D-Bereich verallgemeinert werden, wo Simulationen wie z. B. Wärmesimulationen, Brüche oder Verformungen, erheblich beschleunigt werden können, unter Erhaltung der Auswirkungen auf kleine Details.