Panorama Lichtfeld Bildumgebung

Seit der Erfindung der ersten Kamera waren Bilder immer zweidimensionale Felder von Pixeln. Obwohl ein Punkt einer dreidimensionalen Szene oft unterschiedliche Lichtstrahlen in verschiedene Richtungen abgibt, werden diese durch die Linse und den Sensor einer Kamera wieder zu einem einzelnen Pixel zusammengeführt, wobei die meisten Informationen über die Szene verloren gehen. Was wäre, wenn nun pro Pixel nicht nur eine Farbinformation aufgenommen, gespeichert, verarbeitet und angezeigt wird, sondern jeder Pixel aus individuellen Farbinformationen für jede Ausstrahlungsrichtung bestehen würde? Bilder wären nicht länger zweidimensionale, sondern vierdimensionale Felder, welche räumliche Informationen in zwei Dimensionen und richtungsabhängige Informationen in weiteren zwei Dimensionen enthalten. Diese vierdimensionalen Strukturen werden als Lichtfelder bezeichnet. Lichtfelder haben das Potenzial, alles was wir mit Bildern verbinden grundlegend zu verändern - von der Fotografie, über Bildschirme bis hin zur digitalen Bildverarbeitung und -analyse. Lichtfeld-Fotografie erweitert die herkömmliche digitale Fotografie mit multiperspektivischen Informationen. Diese ermöglichen dreidimensionale Verarbeitung und Ausgabe (unter anderem nachträgliches Refokussieren, 3D Tiefenrekonstruktion, hohe Tiefenschärfe in Bildern, autostereoskopischen Darstellung, usw.). Unserer Meinung nach spielen multiperspektivische Aufnahmen und Darstellungen eine große Rolle in der nahen bis mittelfristigen Zukunft von digitalen Kameras und Bildschirmen. Nach mehr als fünfzehn Jahren Forschung und Entwicklung von Lichtfeld-Aufnahmegeräten, (ermöglicht durch die steigende Sensorauflösung von digitalen Kameras) hat die Lichtfeld-Fotografie ein größeres Potenzial denn je die konventionelle Digitalfotografie abzulösen. Verschiedene Hersteller bieten bereits kompakte, kommerzielle Lichtfeld-Kamerasysteme an. Lichtfeld-Verarbeitungstechniken für die Fotografie beschränken sich jedoch meist noch auf künstliches Refokussieren und das Ändern der Perspektive im Bereich der synthetischen Apertur. Die Anwendung von digitalen Verarbeitungstechniken auf aufgenommene Bilder ist ein Grund, weshalb die Digitalfotografie so erfolgreich wurde. Softwarealgorithmen (welche oft bereits direkt in Digitalkameras integriert sind) ermöglichen es unter anderem Helligkeit, Kontrast und Farbabstimmung von Bildern zu verändern. Sie erlauben die Anpassung der Bildauflösung und das Zuschneiden von Bildern, oder unterstützen die Aufnahme von großen Panoramen, welche das optische Blickfeld der Kameras übersteigen. Solche Bildverarbeitungstechniken können jedoch in vielen Fällen nicht einfach auf Lichtfelder angewandt werden. Der Grund dafür ist, dass das Ergebnis (d.h. ein Lichtfeld) nicht nur in der räumlichen, sondern auch in der richtungsabhängigen Dimension konsistent bleiben muss. Panorama-Aufnahmetechniken sind bereits ein wesentlicher Bestandteil der Digitalfotografie und werden oft schon direkt von der Kamerahardware unterstützt. Der Schwerpunkt dieses Projekts ist es, neue Verarbeitungstechniken zu untersuchen und zu entwickeln, welche das Aufnehmen und Darstellen von Panorama-Lichtfeldern (d.h. Lichtfeld-Aufnahmen mit großem Blickfeld) ermöglichen. Ähnlich wie für andere Bildverarbeitungstechniken ist eine einfache Anwendung von existierenden Panoramatechniken auf Lichtfelder nicht möglich, da räumliche und richtungsabhängige Konsistenz dabei nicht sichergestellt sind. Die Bedeutung von Panorama-Lichtfeldern für die Lichtfeld-Fotografie ist vergleichbar mit der Bedeutung von Panoramaaufnahmen für die Digitalfotografie. Sie haben das Potenzial, ein wesentlicher Bestandteil von zukünftigen Lichtfeld-Kameras bzw. der Lichtfeld-Fotografie generell zu werden.

Panorama-Aufnahmetechniken ermöglichen das Erstellen von Bildern welche das optische Blickfeld einer Kamera übersteigen. Diese sind bereits ein wesentlicher Bestandteil der Digitalfotografie und werden oft schon direkt von der Kamerahardware unterstützt. Der Schwerpunkt dieses Projekts war es Panoramaaufnahmen mit Lichtfeld-Kameras zu ermöglichen. Lichtfeld-Fotografie erweitert die herkömmliche digitale Fotografie mit multiperspektivischen Informationen. Diese ermöglichen dreidimensionale Verarbeitung und Ausgabe (unter anderem nachträgliches Refokussieren, 3D Tiefenrekonstruktion, hohe Tiefenschärfe in Bildern, autostereoskopischen Darstellung, usw.). Verschiedene Hersteller bieten bereits kompakte, kommerzielle Lichtfeld-Kamerasysteme an. Unter Berücksichtigung der steigenden Sensorauflösung von digitalen Kameras hat die Lichtfeld-Fotografie ein größeres Potenzial den je die konventionelle Digitalfotografie abzulösen. Die Anwendung von digitalen Verarbeitungstechniken auf aufgenommene Bilder ist ein Grund weshalb die Digitalfotografie so erfolgreich wurde. Bildverarbeitungsmethoden, wie etwa Panorama-Aufnahmetechniken, können jedoch in vielen Fällen nicht einfach auf Lichtfelder angewandt werden. Der Grund dafür ist, dass das Ergebnis (d.h. ein Lichtfeld) nicht nur in der räumlichen sondern auch in der richtungsabhängigen Dimension konsistent bleiben muss. Im Zuge dieses Projekts haben wir eine erste Methode zur Berechnung von Panorama-Lichtfeldern vorgestellt welche es ermöglicht mehrere Lichtfelder (aufgenommen mit herkömmlichen kommerziellen Lichtfeld-Kameras) zu kombinieren. Weiters haben wir Methoden erforscht um die berechneten großen Lichtfelder in Echtzeit auf herkömmlichen Grafikkarten darstellen zu können. Lichtfelder können nicht nur mit spezieller Hardware, sondern auch mit sich bewegenden herkömmlichen Kameras aufgenommen werden. Heutige Smartphones sind das optimale Werkzeug dafür. Wir haben einen Algorithmus entwickelt welcher unerfahrene Benutzer leitet während diese mit dem Smartphone verschiedene Arten von Lichtfeldern aufnehmen. Eine Aufnahme dauert nur wenige Minuten. Des weiteren haben wir eine Methode zur Verzerrung von Lichtfeldern entwickelt. Diese verbessert die Berechnung von Panorama-Lichtfeldern bei ungenauer Kameraführung, aber ermöglicht auch andere Verarbeitungstechniken wie Seitenverhältnisanpassungen oder künstlerische Verzerrungen. Die Bedeutung von Panorama-Lichtfeldern für die Lichtfeld-Fotografie ist vergleichbar mit der Bedeutung von Panoramaaufnahmen für die Digitalfotografie. Sie haben das Potenzial ein wesentlicher Bestandteil von zukünftigen Lichtfeld-Kameras bzw. der Lichtfeld-Fotografie generell zu werden.