Augmented Reality aus Beispielen

Das Projekt "Augmented Reality aus Beispielen" befasst sich mit der Erzeugung von Inhalten für Augmented Reality (AR) auf Basis von existierenden Bild- und Videodaten. Bisherige Methoden erzeugen die Inhalte von AR Anwendungen in einem zeitaufwändigen Prozess, der Kenntnisse von 3D-Modellierungs- und Animations-Software erfordert. Darüber hinaus sind Kenntnisse der zugrundenliegenden AR-Technik nötige. Von dem verbesserten Erstellungsvorgang durch die Wiederverwendung von existierenden Daten profitiert prinzipiell jede Art von AR-Anwendung. Das Projekt befasst sich aber vorwiegend mit der Erzeugung von AR-Inhalten aus konventionellen Video- und Bildanleitungen für die Wissensvermittlung in Tutorials. Existierende Bild- und Videodaten in Tutor- und Lehranwendungen beinhalten sehr informative Grafiken. Ein genaues Nachmachen von Bewegungen ist trotzdem oft sehr schwierig, da man die Bewegungen im Video auf die reale Welt übertragen müssen. Die Benutzer müssen 3D-Bewegungspfade und die Geschwindigkeit der Bewegungen aus zwei-dimensionalen Daten entnehmen. Dieses Problem wird durch die abweichenden Blickpunkte in Video und Realität weiter verstärkt. Darüber hinaus sehen Objekte in der realen Welt anders aus, als in den zur Verfügung stehenden Bildern und Videos. Weiterhin erschwert die Trennung des Handlungsorts im Video und in der Realität die Hand-Auge-Koordination maßgeblich. Um die Koordination zu verbessern, zeigen AR-Anwendungen die visuellen Informationen direkt in der realen Umgebung des Benutzers an. Studien zeigen, dass AR dadurch signifikant geringere geistige Belastungen erzeugt. Ein wesentliches Ziel unseres Projekts ist es daher, existierende graphische Beschreibungen in die reale Welt zu bringen. Zu diesem Zweck untersuchen wir eine Reihe neuartiger Ansätze. Erstens werden wir die Objekte und Bewegungen in 3D aus den 2D Eingabequellen extrahieren. Zweitens stellen wir Werkzeuge zum Editieren der 3D-Animationen und zum Registrieren in der Zielumgebung zur Verfügung. Drittens entwickeln wir eine Reihe von leicht verständlichen Visualisierungstechniken, um die resultierenden Anleitungen effizient und effektiv kommunizieren zu können. Diese Forschung wird von qualitativen und quantitativen Benutzerstudien begleitet. Das Forschungsprojekt hat eine hohes Potential die Erstellung von Trainingsmaterialien für zukünftige Multimedia-Anwendungen zu vereinfachen.

Augmented Reality (AR) by Example war ein Forschungsprojekt, das neuartige Ansätze für AR-Anwendungen auf Basis von Video- und Bilddaten untersuchte. Das Projekt zielte hauptsächlich auf die Wissensrepräsentation in AR-Tutorials ab. Herkömmliche Bild- und Video-Tutorials vermitteln effektiv komplexe Bewegungen, sind jedoch aufgrund ihrer 2D-Natur und ihrer fehlenden Verbindung zur realen Umgebung des Benutzers schwierig genau zu verfolgen. Da sich AR-Tutorials als effektiver erwiesen haben, bestand das Ziel des Projekts darin, neuartige Tools bereitzustellen, um 2D Bild- und Videodaten in 3D AR-Umgebungen besser zugänglich zu machen. Dies wurde durch die Untersuchung von neuartigen Ansätzen zur Szenenerfassung, Sequenzerkennung, Bewegungsvisualisierung und zum Retargeting von erfassten 2D-Daten zu 3D AR-Umgebungen erreicht. Insbesondere wurde ein neuartiger Ansatz zum Verfassen von AR Zusammenbau-Tutorials auf Basis von Videoanleitungen entwickelt. Der entwickelte Ansatz verwendet ein 3D-Modell und den dazugehörigen Assembly-Graphen der Baugruppe, um eine 3D-Animation zu erzeugen, die mit entsprechenden Videosequenzen der Videoanleitung annotiert wurde. Dieser Ansatz wurde anschließend erweitert, indem auch das 3D-Modell und der Assembly-Graph aus einem RGB-D Video abgeleitet wurden. Um die modellierte und die reale Umgebung in AR kohärent wiederzugeben, hat dieses Projekt außerdem eine Reihe von neuronalen Netzen entwickelt, die gemeinsam in der Lage sind, die Eigenschaften einer realen Kamera nachzuahmen, wie sie etwa in Video-See-Through AR-Anwendungen verwendet wird. Um die Notwendigkeit eines 3D-Modells zu vermeiden, haben wir darüber hinaus einen neuartigen Ansatz zum Erstellen und Anzeigen von AR-Anweisungen auf der Grundlage einer Bilddatenbank entwickelt. So wurden Ansätze zur geführten Erfassung, Bearbeitung und Darstellung von Light Fields auf mobilen Endgeräten erforscht. Es hat sich gezeigt, dass dieser Ansatz, Remote AR-Assistenz Anwendungen in komplexen und unvorbereiteten Umgebungen gut unterstützt. Jüngste Fortschritte in der Forschung zum Rendern von Free-Viewpoint Bildern haben es außerdem ermöglicht, den entwickelten Ansatz von Bild- auf Video basierte Darstellungen zu erweitern. Im Rahmen dieses Projekts wurde daher ein Light field Video Erfassungs- und Rendering-Ansatz entwickelt. Um die Wirkung von 3D AR Video-Tutorials im Vergleich zu traditionellen modellbasierten AR-Tutorials zu untersuchen, wurde außerdem ein System entwickelt, um automatisch interaktive modell basierte AR-Tutorials für Benutzer mit unterschiedlichen Fähigkeiten zu generieren. Wir haben uns hierbei auf die Erstellung von Gitarren-Tutorials konzentriert, da dies einen herausfordernden Anwendungsfall für das Erlernen motorischer Fähigkeiten darstellt. Um Wahrnehmungsprobleme beim Verwenden eines AR-Tutorials zu reduzieren, haben wir eine neuartige videobasierte Szenendarstellung entwickelt, die Focus Cues unterstützt. Unser Ansatz basiert auf einer Repräsentation als Focal Stacks, da dies auf natürliche Weise Out-of-Focus Unschärfen unterstützt. Daher haben wir eine Pipeline zum Erfassen, Rendern und Blenden der Bilder eines Focal Stack in Echtzeit entwickelt. Wir zeigen, dass diese Szenendarstellung in der Lage ist, Layered Displays effizient anzusteuern, um so dem Benutzer Focus Cues zu präsentieren.