Echtzeit-Formenakquisition mit sensorspezifischer Präzision

Die Kernidee dieses Projekts ist es, die Form von physischen Objekten in Echtzeit und mit garantierter Genauigkeit zu erfassen, und diese mit minimaler Geometrie rekonstruieren. Eine Beispielanwendung ist, es uneingeschulten Anwendern zu ermöglichen, Objekte mit neu aufkommenden mobilen Erfassungsgeräten wie Google`s Projekt Tango zu erfassen. Der Benutzer bewegt den Sensor um das Objekt herum, geleitet durch sofortige visuelle Rückmeldung über die Qualität der Erfassung. Das Ergebnis ist ein topologisch sauberes Netz, das nur aus den erforderlichen geometrischen Primitiven besteht, um seine Oberfläche abzubilden. Die Echtzeit- Rekonstruktion ermöglicht, dass zahlreiche Geometrieverarbeitungsanwendungen online ausgeführt werden können, z.B. Objektsuche oder -vergleich, die Geometrie von Räumen zentral zu erfassen, perspektivische Foto-Korrektur, interaktive Modellierung, aufgewertete Realität, Physik-Simulationen, oder Fertigung. Die bevorstehende Verlagerung von teuren hochwertigen 3D-Scannern zu allgegenwärtigen mobilen Sensoren liefert weniger präzise Daten, aber dafür große Mengen, weil sie mehrmals pro Sekunde aktualisiert werden. Allerdings können die neuesten Methoden mit der Herausforderung, Punktwolken mit diesen hohen Datenraten zu verarbeiten, nicht mithalten. Zum Beispiel würde die Rekonstruktion der Konnektivität eines Objekts, das dynamisch abgetastet wird, eine Geschwindigkeitserhöhung von ca. zwei Größenordnungen erfordern. Das Erreichen einer solchen Beschleunigung würde einige neue Möglichkeiten eröffnen. In diesem Projekt schlagen wir vor, dies durch die Verbesserung von mehrerer Stufen der Oberflächenrekonstruktion-Pipeline erreichen, mit den folgenden Zielen: Lokalisierung: Am wichtigsten ist es, Oberflächenrekonstruktion nicht als globales Problem zu behandeln. Dies ist möglich, weil wir zeigen, dass die erforderlichen Lokalisierung von der lokalen Strukturgröße abhängt. Im Gegenzug ermöglicht dies eine effiziente Parallelisierung. Verarbeitungsfreundlichkeit: Wir wollen direkt auf Mannigfaltigkeiten statt Punktwolken arbeiten, dies vereinfacht die Weiterverarbeitung stark, um z.B. die unten beschriebenen Schritte zu ermöglichen. Wir zeigen, dass dies durch die Rekonstruktion der Topologie von Merkmalen vor ihrer Geometrie erreicht wird. Rauschtoleranz: Weniger genau abgetasteten Daten motivieren uns, die (schon bekannten) statistische Rauscheigenschaften des Sensors besser zu nutzen. Anstatt die Proben nur in Hinsicht auf visuelle Plausibilität zu glätten, erlaubt dies die originalgetreue Rekonstruktion innerhalb der gemessenen Fehler der spezifischen Erfassungsvorrichtung. Angemessene Dichte der Probennahme: Bei nicht genügend dicht abgetasteten Merkmalen kann die Schätzung des Tangentenraums bei Annahme einer isotropen Nachbarschaft scheitern, was zu topologischen Mängeln führt. Auf der anderen Seite enthalten zu dicht abgetastete Merkmale redundante Geometrie, die vor der Übertragung über die niedrige Bandbreite mobiler Kanäle vereinfacht werden muss. Daher müssen wir eine Bedingung der Abtastung entwickeln, die sowohl so kleine Merkmale wie möglich zu rekonstruieren ermöglicht als auch diese nur so dicht wie erforderlich definiert.

Das Hauptergebnis unseres Projekts sind bahnbrechende Ergebnisse sowohl bei der Kurven- als auch bei der Oberflächenrekonstruktion. Grundlegende Ergebnisse: Wir haben bewiesen, dass eine glatte Kurve in einer Ebene aus deutlich weniger Punkten rekonstruiert werden kann als bisher angenommen. Dies ist ein hochsignifikantes theoretisches Ergebnis, wo der bisherigen Stand der Technik schon 20 Jahre bestanden hat. Unser Beweis wird durch ein neues Testkriterium gestützt, das in diesem Projekt entworfen wurde. Darüber hinaus haben wir einen Algorithmus entwickelt, mit dem Punkte auf einer glatten planaren Kurve so auswählt werden können, dass dieses Kriterium erfüllt ist. Diese grundlegenden Ergebnisse werden die Entwicklung von Kurven- und Oberflächenrekonstruktionsmethoden weiter vorantreiben. Bahnbrechende Qualitätssteigerung: Wir haben auch ein bahnbrechendes Ergebnis bei der Verwendung von Deep Learning bei der Oberflächenrekonstruktion erzielt, das die aktuelle Referenzmethode erheblich verbessert. Wir erwarten, dass unsere neue Methode auch für Anwendungen der Oberflächenrekonstruktion außerhalb des Computergraphik sehr nützlich sein wird, und entwickeln derzeit einen Webdienst für den allgemeinen Gebrauch. Die grundlegenden erzielten Fortschritte sollten auf viele weitere Aspekte der Rekonstruktion anwendbar sein, z. B. Farbe, Licht oder fehlende Daten. Relevante Beschleunigung eines Algorithmus: Wir haben einen Algorithmus für das sogenannte "k-nearest neighbors"-Problem entwickelt, der parallel auf der GPU ausgeführt wird und die Leistung erheblich verbessert, indem die Punkte zuerst in einem Raster sortiert werden. Dieser algorithmus ist ein wichtiger Bestandteil vieler anderer Bereiche der Informatikforschung, da es in vielen Methoden wichtig ist, eine bestimmte Anzahl von Punkten zu finden, die einer bestimmten Koordinate im 3D-Raum am nächsten liegen. Daher ist unsere neue schnelle Methode allgemein von großer Bedeutung. Anwendung in der Praxis: Wir haben ein neues Forschungsinstrument entwickelt, um den Fehler mehrerer Sensoren, insbesondere 3D-Scannern, genau zu messen. Wir aggregieren diese Fehler in Form von x/y/z-Abweichungen der abgetasteten Punktkoordinaten als gerätespezifische Statistiken. Dies ermöglicht es uns, die Koeffizienten von Dichtefunktionen zu berechnen, die angeben, mit welcher Wahrscheinlichkeit und wie nahe der ursprüngliche Punkt von der gemessenen Probe entfernt ist. Wir haben die Ergebnisse verwendet, um eine Energiefunktion zu minimieren, um die Rekonstruktionsgenauigkeit von verrauschten Kurven und Silhouetten von 3D-Modellen zu erhöhen, die von gebrauchsüblichen Sensoren erfasst wurden. Oberflächenvereinfachung: Mit den eingangs erwähnten fundamentalen Ergebnissen konnten wir Punktwolken, die glatte Kurven darstellen, erneut und mit viel weniger Punkten abtasten. Dies motivierte uns dazu, unsere neue Abtastbedingung auch auf Oberflächen anzuwenden. Damit konnten wir Dreiecksnetze so vereinfachen, dass weniger Dreiecke erforderlich sind, um ein Objekt darzustellen, während wichtige Oberflächenmerkmale erhalten bleiben.