Deep Pictures: Visuelle und Haptische Vektor-Bilder

Durch seine analytischen Eigenschaften ermöglicht die vektorbasierte Repräsentation von Bilddaten im Vergleich zu Rasterdaten ("Pixelgrafik") eine Vielzahl komfortabler und semantischer Operationen. Dennoch sind Rasterdaten heute viel stärker verbreitet, mit wenigen Ausnahmen wie Text, CAD Zeichnungen oder geographischen Karten. Wir machen hierfür zwei wesentliche Probleme verantwortlich, zu denen wir in dem vorliegenden Projekt Lösungsansätze verfolgen. Das erste Problem ist die Erstellung einer vektorbasierten Repräsentation aus Rasterdaten, da die bestehenden (meist vollautomatischen) Ansätze sehr unzureichend sind. Da das Vektorisierungsproblem zum Teil künstlerischer Natur ist, schlagen wir semi-automatische Ansätze vor, die dem Anwender entsprechende Gestaltungsmöglichkeiten geben und diese mit vollautomatischen Bildverarbeitungsmethoden kombinieren. Interessante Teilprobleme sind die gemeinsame Vektorisierung mehrerer Bilder mit unterschiedlichem Detailgrad in eine konsistente Repräsentation des gesamten Bildinhaltes, und die effiziente Konvertierung von Texturbildern mit, sich zum Teil wiederholenden, Inhalten. Das zweite Problem ist die ungenügende Ausdruckskraft von traditioneller Vektorgrafik. Basierend auf unseren Forschungsergebnissen wollen wir natürliche Bilder mit Vektorgrafik realistischer wiedergeben können. Hier liegt ein Schwerpunkt auf Bilddetails, wie sie in hochauflösend texturierten Objekten vorkommen, ohne die geometrische Komplexität auf ein unpraktikables Niveau erhöhen zu müssen. Neben den rein visuellen Ergebnissen wird unsere Forschung von einer zweiten, besonders herausfordernden Anwendung von Vektorgrafik geleitet: die Erstellung von Reliefinterpretationen aus (historischen) Bildern und Gemälden, welche als Lernhilfen (Tast-Reliefs) Verwendung für Blinde und Sehbehinderte finden. Hier kann die geometrische Struktur der Vektorgrafik den komplexen und langwierigen Erstellungsprozess dramatisch beschleunigen und vereinfachen. In Anknüpfung an die beschriebene Bildvektorisierung erforschen wir Techniken zur 3D Formung einzelner Bildteile. Dies umfasst die Freiform-Modellierung und die Integration existierender 3D Objekte, wobei Hinterschneidungen eine besondere Herausforderung darstellen. Ferner untersuchen wir Ansätze zur Komposition der modellierten Objekte zu einer Szene. Dies beinhaltet die effiziente Nutzung eines gegebenen Tiefenbudgets, wie auch die Skalierung einzelner Objekte, wie es für Tast-Reliefs benötigt wird. Das angestrebte System wird künstlerisch tätigen Menschen die vergleichweise schnelle Modellierung von visuell und haptisch hochqualitativen Reliefs ermöglichen. Eine Auswahl der erzeugten Reliefs soll physisch hergestellt und mit Sehbehinderten und Experten in der Kunst evaluiert werden. Durch unsere Ergebnisse werden viele Institutionen ihre Sammlungen barrierefrei gestalten können und somit für ein breiteres Publikum öffnen.

Vektorgrafik besteht typischerweise aus geometrischen Primitiven wie Linien, Kurven oder Formen in Gegensatz zum Pixelraster konventioneller Rastergrafik. Ziel dieses Projekts war die Erforschung neuer Bilderzeugungs- und Manipulationswerkzeuge für Vektorgrafiken, welche wir als essentiell erachten, um ihre gewinnbringende Nutzung und Verbreitung außerhalb von Text, technischen Zeichnungen und geografischen Karten voranzutreiben. Ein Teil unserer Forschung widmeten wir dem nutzergesteuertem, automatisierten Verteilen grafischer Objekte in einem existierenden Bild, um dieses sinnvoll um Kontent zu erweitern. Die wesentliche Komponente hierfür waren neue Beschreibungsmöglichkeiten, wie ein Objekt in Beziehung zu seiner direkten Umgebung steht. Dies erlaubt es uns nun, einfache Beispielplatzierungen eines Nutzers beliebig auf andere Bereiche eines Bildes zu übertragen. Ausgehend von einem generellen, rein geometriebasiertem Modell erweiterten wir unsere Ideen für beschreibende Modelle, wie zum Beispiel Gebäudepläne mit bezeichneten Wänden, Türen, Fenstern usw. Ein Nutzer kann nun durch einfache, intuitive Beispielplatzierungen solche Modelle effizient möblieren, ganze Gebäude selbst erstellen, oder z.B. Gärten effizient und sinnvoll planen, um hier nur einige Anwendungen zu nennen. In einem weiteren Forschungsansatz verbesserten wir die Vektorgrafik hinsichtlich ihrer Expressivität. Neue mathematische Modelle erlauben es nun komplexe Farbgradienten und Schattierungen zu erstellen. Unsere Modelle sind dabei ähnlich expressiv wie die besten existierenden Modelle, jedoch viel effizienter hinsichtlich der benötigten Rechenleistung und sie verhalten sich gutmütiger beim Editieren und Animieren. Neben rein visuellen Applikationen war unsere Forschung von einer zweiten Anwendung bestimmt: die Generierung von Reliefinterpretationen von Bilder, welche als haptische Bilder blinden und sehbehinderten Menschen dienen. Vektorgrafik dient hier als geometrisches Gerüst um den heute noch extrem aufwändigen Erstellungsprozess signifikant intuitiver und effizienter zu gestalten. Speziell wurden die neu entwickelten Werkzeuge benutzt, um künstlerisch trainierten Menschen die Erstellung, Komposition und Interpretation hochqualitativer, haptischer Bildmodelle zu ermöglichen bzw. zu erleichtern, deren Herstellung zu vereinfachen, und mit einem gestengesteuerten Audio Guide anzureichern. Eine Auswahl haptischer Bilder wurde bereits physisch hergestellt, und ihre Qualität und Expressivität mit Blinden, Sehbehinderten und Kunstexperten diskutiert. Die Resultate unserer Forschung kommen einerseits sehbehinderten Menschen direkt zugute, einige Beispiele hierfür entstanden bereits direkt im Projekt. Weiterhin sehen wir kulturelle und ökonomische Vorteile durch eine weitere Verbreitung von Vektorgrafik aber auch von 3D Grafik, wozu unser Projekt beigetragen hat.