Richtungsbasiertes Super-Resolution durch kodiertes Abtasten und geführtes Vergrößern

Die Aufnahme und die Verarbeitung von Bildern ist ein wichtiger Aspekt für viele visuelle Effekte, die in der Digitalfotografie oder der Filmindustrie verwendet werden. Die Lichtfeldtechnologie hat zum Beispiel einen großen Einfluss auf die Digitalfotografie. Zudem kommen Lichtfelder auch im professionellen Bereich in Verbindung mit Computer Vision und Bildverarbeitung zum Einsatz. Lichtfeldkameras tasten im Orts- und im Richtungsraum ab und ermöglichen dadurch nachträgliches digitales Refokussieren. Seit nunmehr 20 Jahren werden große Kameraarrays im Filmbereich eingesetzt. Durch die Aufnahme von verschiedenen Perspektiven können raum-zeitliche Überblendungs-Effekte in der Postproduktion entstehen. Solche Spezialeffekte sieht man in Blockbustern wie Matrix (Bullet Time Effekt). Heutzutage findet man solche visuellen Effekte nicht nur mehr im Kino sondern auch in zahlreichen TV Werbespots. Bildbasierte Beleuchtung ist eine Technik der digitalen Postproduktion und kommt in der Filmindustrie zum Einsatz. Hochgeschwindigkeitsaufnahmen unter kontrollierter und variierender Beleuchtung, (wie zum Beispiel in einer Lichtbühne) erlauben es Aufnahmen einer Schauspielerin oder eines Schauspielers nachträglich künstlich zu Beleuchten. Bildbasiertes Beleuchten findet Einsatz in vielen Hollywood-Produktionen, wie Spiderman 2 & 3, Superman Returns, Hancock, The Curious Case of Benjamin Button und Avatar. Alle zuvor genannten Effekte haben die Gemeinsamkeit, Bildaufnahmen welche unter verschiedenen Richtungen entstehen (Kamera- oder Lichtrichtungen) zu kombinieren. Es werden dazu auch keine Tiefendaten rekonstruiert, da diese bei komplexen Szenen nur ungenau oder teilweise gar nicht ermittelt werden können. Um Aliasing zu verhindern wird eine große Menge an Bildern benötigt. Dies führt zu aufwendigen und komplizierten Kamera- oder Beleuchtungseinheiten, sowie zu Bandbreitenlimitierungen bei der Datenübertragung der aufgenommenen Bilder. In diesem Projekt sollen Kodierungs- und geführte Upsampling-Strategien finden, die im Vergleich zu einer uniformen Abtastung (wie bei den zuvor erwähnten Techniken), die gleiche Qualität bei einer kleineren Abtastrate (weniger Kameras/Beleuchtungen und zugleich weniger Bandbreite), oder bessere Qualität bei gleicher Anzahl an Abtastungen erzielen. Unser Ziel ist es, die erste geführte Super-Resolution-Methode zu entwickeln, die in der Richtungs-Domäne arbeitet und nicht auf Tiefenrekonstruktion basiert. Daher kann diese Technik auf beliebig komplexe Szenen angewandt werden, wie sie in der Spezialeffekt- und Film-Branche üblich sind.

Moderne Methoden, in Forschung und Film, basieren auf der richtungsabhängigen Abtastung und Verarbeitung von Bildern. Bildbasierte Rendering mit Lichtfeldern, zum Beispiel, unterstützt verschiedene Verarbeitungsoperationen, die mit klassischen Systemen nicht möglich wären. So ermöglicht eine Lichtfeldaufnahme das Ändern von Blende, Fokus und Perspektive nach der Aufnahme. Bei einer handelsüblichen Kamera ist dies unmöglich. Bildbasiertes Beleuchten, ein weiteres Beispiel, unterstützt die Berechnung virtueller Beleuchtungen an realen Akteuren oder Objekten. Dazu wird das Modell oder Objekt unter variierenden Beleuchtungsbedingungen (z.B. mit einer Lichtkuppel) aufgenommen. Um Artefakte zu vermeiden, wird jedoch eine beträchtliche Anzahl von Abtastungen aus vielen Richtungen benötigt. Dies führt zu teuren und komplexen Aufnahmesystemen und zu Beschränkungen aufgrund von Bandbreite, Belichtungszeiten oder Kosten. In diesem Projekt untersuchten wir Rekonstruktionsverfahren für Systeme mit einer limitierten Anzahl an Abtastungen (z.B. Kamera-Arrays, Lichtkuppeln und Kamera-Drohnen). Wir verzichten dabei auf Tiefenschätzungen oder Bildkorrespondenzen, da diese für komplexe Szenen schwierig oder gar unmöglich sind. Wir verwenden kodierte Abtastungsmuster, wenden Rekonstruktionstechniken an und erzielen Ergebnisse die annehmen lassen, dass signifikant mehr Samplingpunkte verwendet wurden. Im Rahmen dieses Projekts haben wir eine erste kodierte Superresolution-Technik vorgestellt und präsentierten Abtastungsmuster für Lichtfeldkameras und Lichtkuppel- Systeme. Unser Verfahren nimmt einige Bereiche mit einer hohen Abtastrate (vielen Kameras oder Lichtern) und den Rest mit niedriger Samplingdichte auf. Ein spezielles Rekonstruktionsverfahren verwendet dann Informationen aus den hoch aufgelösten Bereichen, um neue Details in den niedrig aufgelösten Bereichen zu berechnen. Wir zeigen wie Kamera-Arrays und Lichtkuppeln verbessert werden können indem man die Samplingpositionen verändert. Die veröffentlichten wissenschaftlichen Artikel und deren Ergebnisse zeigen, dass unsere Methoden besser als vergleichsbare frühere Arbeiten sind. In Zukunft wollen wir unser Verfahren an Lichtfeldern, mit extrem großer Blende, anwenden. Als ersten Schritt haben wir dazu Lichtfelder mit einer Drohne aufgenommen. Bildbasiertes Rendering mit großer Blende bietet neuartige Möglichkeiten, wie zum Beispiel das Sichtbarmachen von verdeckten archäologischen Objekten in einem Wald. Dazu gibt es bereits einen FWF Folgeprojektantrag mit dem Titel Abtastung Großer Synthetischer Blenden.