Energiefunktionen für globales Stereo-Matching

Die automatisierte Korrespondenzbildung in Stereobildern (Stereo Matching) hat im Laufe der letzten Jahre einen signifikanten Fortschritt durchlebt. Maßgeblich dafür war die Entwicklung neuer Optimierungstechniken. Energieminimierungsansätze, die auf derartigen Optimierungsschemata beruhen, zeigen gegenwärtig die beste Performance in der Stereoberechnung. Während großer Forschungsaufwand dem Optimierungsproblem gewidmet wurde, blieb die Tatsache, dass die betrachteten Energiefunktionen ein unbefriedigendes Modell für das Stereoproblem darstellen könnten, jedoch oft unbeachtet. In dem vorgeschlagenen Projekt zielen wir daraufhin ab, den Stand der Technik im Bereich Stereo Vision durch eine Untersuchung und Verbesserung der Modellierungskomponente voranzutreiben. Einen wesentlichen Beitrag wird dabei eine Evaluierungsstudie bilden. In dieser Studie wird die Performance bereits existierender und zueinander in Konkurrenz stehender Energiefunktionen verglichen. Energiefunktionen sind typischerweise Kombinationen verschiedener Terme. Diese Terme sollen zwar denselben Zweck erfüllen, werden aber in den meisten Ansätzen unterschiedlich implementiert. Darüber hinaus kommen für das Energieminimierungsproblem unterschiedliche Optimierungsalgorithmen zum Einsatz. Es gestaltet sich daher schwierig, die Gründe, warum eine Energiefunktion eine andere übertrifft, zu identifizieren. Im Rahmen des Projektes werden wir ein Framework entwickeln, welches mehrere Energiefunktionen vereinheitlicht und für deren Optimierung sorgt. Dieses Framework wird als Grundlage für einen Benchmarktest fungieren. In diesem Benchmarktest werden wir Bildpaare echter Szenen mit zugehöriger Ground Truth verwenden. Das Ziel unserer Experimente ist es zu erkennen, welche Komponenten eine Verbesserung der Performance bewirken und welche nicht. Dies wird zu einem neuen und tieferen Verständnis gegenwärtiger Energiefunktionen führen und jene Faktoren aufzeigen, die das höchste Potenzial für eine zukünftige Verbesserung aufweisen. In der zweiten Projektphase werden wir das aus der Evaluierungsstudie gewonnene Wissen verwenden, um neuartige Energiefunktionen zu entwickeln. Das Design dieser Energiefunktionen zielt darauf ab, Disparitätskarten von hoher Qualität zu berechnen, welche den momentanen Stand der Technik übertreffen. Derartige hochgenaue Disparitätskarten sind von entscheidender Bedeutung in zahlreichen Anwendungen, welche von der Qualitätssicherung, Robotik und virtueller Realität bis hin zu vielversprechenden Anwendungsgebieten in der Unterhaltungsindustrie, wie der Generierung von virtuellen Blickwinkeln, reichen.

In diesem Projekt wurden Algorithmen der Stereoverarbeitung zunächst hinsichtlich ihrer Genauigkeit und strukturellen Verbesserungsmöglichkeiten systematisch analysiert und darauf aufbauend neue Verfahren entwickelt, welche im internationalen Vergleich ausgezeichnete Ergebnisse liefern. Ergebnisse der Projektarbeiten wurden durch Preise ausgezeichnet und mündeten in mehreren Medienberichten (z.B. ORF-Newton). Die zentrale Aufgabe eines Stereo-Matching-Algorithmus ist das automatische Auffinden von korrespondierenden Punkten im linken und rechten Bild eines Stereo-Bildpaars, um daraus eine (3D-)Tiefenkarte der Szene zu generieren. Bei globalen Matching-Verfahren wird dafür zunächst ein 3D-Modell der Szene aufgestellt (durch Modellierung mittels geeigneter Energiefunktionen) und danach in einem Optimierungsschritt jene Lösung (d.h. Tiefenkarte) gesucht, welche unter Berücksichtigung des verwendeten Modells für die beobachteten Bildinhalte im rechten und linken Bild die beste Erklärung liefert (Minimierung der Energie). Ein entscheidender Ansatz des vorliegenden Projekts war die Erkenntnis, dass zur Verbesserung des State-of-the-Art in Stereo-Matching das Hauptaugenmerk auf den Modellierungsschritt gelegt werden sollte, während die eingesetzten Optimierungstechniken den Anforderungen bereits weitgehend genügen. Im Rahmen des Projektes wurde der Modellierungsschritt in Hinblick auf mehrere Aspekte analysiert, um darauf aufbauend verbesserte Lösungsansätze vorzuschlagen. Eine umfassende Untersuchung befasste sich mit der Frage, inwieweit Farbe bzw. die Wahl des verwendeten Farbraums die Qualität der 3D-Rekonstruktion beeinflussen. Eine besondere Herausforderung an Stereo-Matching-Algorithmen ist die Anforderung, markante Strukturen in der Umgebung eines betrachteten Bildpunktes möglichst umfassend zu berücksichtigen, ohne dabei den verwendeten Suchbereich unnötig groß zu machen. In diesem Zusammenhang wurden innovative Verfahren basierend auf effizienten Baumstrukturen bzw. geeigneten Gewichtungsverfahren im Suchprozess entwickelt. Weiters wurde eine neue Methode vorgestellt, welche die präzise Rekonstruktion von Objektkonturen unter Berücksichtigung von subtilen Farbmischungseffekten, welche typischerweise entlang Objekträndern oder in der Umgebung feiner Strukturen (z.B. Haare) auftreten, ermöglicht. Derartige hochgenaue Tiefenkarten sind von entscheidender Bedeutung in zahlreichen Anwendungen, welche von der Qualitätssicherung, Robotik und virtueller Realität bis hin zu vielversprechenden Anwendungsgebieten in der Unterhaltungsindustrie, wie der Generierung von virtuellen Blickwinkeln für 3D-Fernsehen, reichen.