3D Videoanalyse für interaktive Multimedia Anwendungen

Aufgrund des ständig wachsenden Einsatzes von Videokameras in den verschiedensten Bereichen des täglichen Lebens wie Informationsmedien, Unterhaltung und Freizeit, mobile Kommunikation, Medizin, Sport oder Sicherheitsanwendungen ist für die nächsten Jahre eine stark steigende Nachfrage nach Verfahren zur intelligenten Auswertung und Nachbearbeitung des aufgenommenen Videomaterials zu erwarten. Beispiele für solche Verarbeitungsschritte sind die automatische Erkennung von Personen oder Situationen, die Kombination von Videos mit Bild- und Tonmaterial aus anderen Quellen, sowie die effiziente Speicherung und Übertragung der anfallenden Bild-Datenmengen. Im Rahmen des vorliegenden Forschungsprojektes befassen wir uns insbesondere mit Fragestellungen, welche bei der Aufbereitung von Videomaterial für nachfolgende interaktive Multimedia-Anwendungen auftreten. Ausgangspunkt für unsere Untersuchungen ist dabei der Wunsch nach einer weitgehenden Automatisierung von typischen Video-Editieraufgaben wie dem Einfügen und Löschen von Objekten oder der Überlagerung von Videoinhalten aus verschiedenen Quellen. Voraussetzung dafür ist die grundlegende Kenntnis der räumlichen (3D) Struktur der aufgenommenen Szene, aus welcher sich die Sichtbarkeit der einzelnen Objekte in Bezug auf die Kameraposition sowie resultierende Verdeckungen und perspektivische Verzerrungen ableiten lassen. Im ersten Teil des Projekts führen wir Experimente mit mehreren Videokameras in verschiedenen räumlichen Anordnungen durch. Das Ziel ist, die Auswirkungen von unterschiedlichen Aufnahmekonfigurationen auf den Informationsgehalt und die nachfolgende Auswertbarkeit des Videomaterials zu untersuchen. Der Hauptteil der Untersuchungen befasst sich dann mit der Entwicklung geeigneter Bild- und Videoverarbeitungsalgorithmen zur dreidimensionalen Rekonstruktion einer bewegten Szene, welche von mehreren räumlich versetzten Videokameras ("Stereo-Videos") gleichzeitig aufgenommen wurde. Insbesondere konzentrieren wir uns dabei auf die Weiterentwicklung von Techniken zur automatischen Segmentierung und Verfolgung (Tracking) von Videoobjekten sowie deren Kombination mit Stereoanalyse zur Gewinnung von Tiefeninformation. Das Ziel ist die weitgehend automatische Generierung einer inhaltsorientierten Beschreibung der Videoszene durch Erfassung der abgebildeten Objekte und deren räumlicher Beziehung zueinander, wie sie von den neuesten Versionen des MPEG Standards (MPEG-4/7) für die effiziente Beschreibung und Komprimierung von Videodaten vorgeschlagen wird.

Das Projekt "3D Videoanalyse für interaktive Multimedia-Anwendungen" befasst sich mit der Rekonstruktion von 3D Szenen aus Stereoansichten und der Erfassung von Bewegung in Videoaufnahmen mit dem Ziel, Personen oder Objekte aus Videos automatisch zu extrahieren. Die erfolgreiche Trennung der Videoobjekte vom Bildhintergrund (Objekt-Segmentierung) bildet die Grundlage für zahlreiche Multimedia-Anwendungen wie dem effizienten Editieren von Videomaterial (Einfügen, Löschen oder Verändern von Objekten), der Kombination von echten mit synthetischen Bildinhalten (Video Compositing, Augmented Reality) sowie insbesondere auch zukunftsträchtigen kommerziellen Anwenderszenarien wie "3D Interaktives Fernsehen". Im Rahmen des Projektes wurde ein neuer Stereoalgorithmus entwickelt, der hochgenaue Tiefenkarten der aufgenommenen Szene liefert, wobei insbesondere auch entlang Objekträndern und in teilweise verdeckten Gebieten, welche üblicherweise schwierig zu rekonstruieren sind, sehr gute Ergebnisse erzielt werden. Eine Gegenüberstellung unserer Stereoresultate mit den Entwicklungen anderer Forschungsgruppen in einem Benchmark-Test hat ergeben, dass unser Algorithmus den meisten anderen präsentierten Verfahren an Rekonstruktionsgenauigkeit überlegen war. Wesentliche Elemente unseres Stereoverfahrens, wie z.B. die Verwendung neuer Optimierungsverfahren (graph-cuts), konnten erfolgreich zur Lösung des verwandten Problems der Bewegungserkennung mit nachfolgender Objektextraktion weiterentwickelt werden. Effiziente Verfahren zur Bewegungsschätzung sind insbesondere auch im Zusammenhang mit Videokodierung (z.B. MPEG) von großer praktischer Bedeutung. Wir demonstrieren die Verwendung der automatisch extrahierten Videoobjekte mit der durch Stereoanalyse gewonnenen Zusatzinformation über die 3D Szenenstruktur in einer Reihe neuartiger Anwendungen im Bereich "Computergenerierte Kunst". Insbesondere befassen wir uns dabei mit der automatischen Erzeugung von Skizzen aus echtem Bildmaterial, die beim Betrachter einen künstlerisch ansprechenden, handgezeichneten Eindruck erwecken. Weiters wurden im Rahmen der Arbeit neue Algorithmen der Bildverarbeitung und Computergrafik entwickelt, welche erlauben, aus Bildfolgen (Videos) mittels Bewegungsanalyse und stilisierter Darstellung von Bewegungsabläufen Illustrationen im Stil von Karikaturen (Comics) zu erzeugen. Darüber hinaus präsentieren wir erstmals die computergestützte Erzeugung von stereoskopischen Gemälden, z.B. in Nachempfindung eines impressionistischen Malstils, aus natürlichem Bildmaterial (image-based stereoscopic painterly rendering).