Dreidimensionale Diminished Reality in Echtzeit

Das Projekt Dreidimensionale Diminished Reality in Echtzeit (3DDR) entwickelt ein neuartigen Ansatz zur Erzeugung von Diminished Reality ("verminderter Realitaet"), einer Spielart der Mixed Reality. Hierbei wird die Wahrnehmung eines Benutzers in Echtzeit derart manipuliert, dass unerwuenschte Objekte verschwinden. Unsere neue Methode kann dies in dreidimensionalen Umgebungen und in Echtzeit bewerkstelligen, sodass sich Benutzer beliebig durch die Umgebung bewegen können und gleichzeitig durch Objekte hindurch oder hinter Objekte sehen koennen. Bisherige Methoden sind von der Annahme ausgegangen, dass der zu entfernende Teil der Szene flach ist, was in der Realitaet oft nicht der Fall ist. Daher erzeugt unsere Methode einen vollstaendig dreidimensionalen, nicht-flachen Hintergrund. Dieser Hintergrund kann auch erzeugt werden, wenn keine Beobachtungen ueber einen realen Hintergrund an der gewuenschten Stelle existieren. Diese Art von Erzeugung eines Szenenteils muss zeitlich koheraent arbeiten, damit perspektivische Aenderungen, die der Benutzer bei Bewegung wahrnimmt, nicht unnatuerlich wirken. Die Resultate unseres Projekts eignen sich fuer visuelle Inspektionsarbeiten, zur aesthetischen Verbesserung von Mixed Reality-Darstellung sowie fuer Telepraesenz mit hoher visueller Qualitaet.

Diminished Reality (DR) ist eine Technik, mit der Objekte in einem Streaming-Video, das auf einem Display gezeigt wird, in Echtzeit entfernt werden, während die Kamera in Bewegung bleibt. Anwendungen von DR umfassen das Entfernen von Fußgängern aus einer Szene, das Simulieren von städtischen Umgebungen durch das Entfernen von Gebäuden, das Erstellen von Bildungsvideos durch das Entfernen von Chirurgen, das Eliminieren unerwünschter Objekte während des Filmens usw. DR kann erreicht werden, indem mehrere Kameras in der Umgebung installiert werden. Diese Multi-View-Technik kann jedoch keine Bereiche wiederherstellen, die von den Kameras nicht beobachtet werden. Um dieses Problem zu lösen, wird Inpainting verwendet, um die fehlenden Bereiche zu "halluzinieren", indem Pixel aus den umliegenden Bereichen kopiert werden. Dies ist besonders nützlich, wenn fortgeschrittene Vorbereitungen der Szene nicht möglich sind. Da Inpainting größtenteils im Bildraum durchgeführt wurde, nehmen einige DR-Systeme, die auf Inpainting basieren, an, dass der 3D-Raum durch eine flache Ebene approximiert wird. Dieser Ansatz ist nur anwendbar, wenn die Szene flach und verfolgbar ist. Um diese Annahme einer flachen Welt zu überwinden, entwickelten wir einen neuen Ansatz namens InpaintFusion, der Objekte in einem 3D-Raum entfernt. Wir führen Inpainting sowohl auf Farb- als auch auf Tiefenbildern während des Scannens der Szene durch. Da dieser Prozess einige Sekunden in Anspruch nehmen kann, verwenden wir Multithreading-Technologie, um ihn im Hintergrund auszuführen. Sobald das Inpainting abgeschlossen ist, projizieren wir die 2D-Informationen zurück in den 3D-Raum. Das System setzt das Inpainting fort, um neue, unobservierte Bereiche zu füllen. Diese zusammengeführten 3D-Informationen ermöglichen eine 3D-Interaktion und Effekte wie das Ändern der Beleuchtung, ohne dass die vorhandenen Objekte beeinflusst werden. Wir haben festgestellt, dass die Qualität des 3D-Inpaintings erheblich von der Auswahl des Anfangsbildes abhängt. Um Anfängern zu helfen, das richtige Bild auszuwählen, entwickelten wir den Ansatz "Good Keyframes for Inpainting". Wir untersuchten sechs Heuristiken, die in InpaintFusion verwendet werden, und leiteten einfache Kriterien ab, die während des Scannens der Szene gemessen werden können. Wir schätzten die Eignung des ersten Bildes mit einer robusten linearen Kombination. Um die Koeffizienten zu berechnen, sammelten wir reale Daten und wendeten das Inpainting mehrfach an. Diese datengestützte Auswahl des Startbildes führt zu einer stabileren und besseren Inpainting-Qualität im Vergleich zur zufälligen Auswahl. Moderne Multi-Layer-Bilder unterstützen leichte und weitwinkelige 3D-Darstellungen. Da Multi-Layer-Bilder einen kanonischen Raum für Inpainting bieten, ist ein kohärentes Inpainting über mehrere Bilder hinweg nicht erforderlich. Wir entwickelten einen neuen Inpainting-Algorithmus, um pixelige Objekte in dieser neuen Bildmodality zu entfernen. Darüber hinaus untersuchten wir die Multi-Layer-Szenendarstellung, um die Bedingungen für die robuste Generierung von Multi-Layer-Szenen und die Erstellung von Tiefenkarten aus einer Sammlung von defokussierten Bildern für zukünftige 3D-DR-Ansätze besser zu verstehen.