Next-Generation Video Browsing

Unter Video Browsing versteht man das interaktive Durchsuchen bzw. Stöbern in einem Video durch Navigation und explorative Suche. Im Unterschied zu Video Retrieval gibt es verschiedene Gründe ein Video interaktiv zu durchsuchen: (1) um sich einen schnellen Überblick über den Inhalt und die Struktur eines Videos zu verschaffen, (2) um herauszufinden, wo sich interessante Szenen im Video befinden, (3) um interaktiv nach einer bestimmten Szene im Video zu suchen, welche man mit herkömmlichen Video Retrieval Tools nicht finden kann. Obwohl in der Literatur bereits sehr viele Vorschläge für Browsing Tools und Methoden zu finden sind, besteht großes Potential solche Tools deutlich zu verbessern, indem man die Möglichkeiten moderner mobiler Geräte ausnützt. Im Next-Generation Video Browsing Projekt möchten wir die bisherigen Ergebnisse unserer Forschung (in den Gebieten von Interaktiver Suche und 3D Benutzerschnittstellen) auf diesen neuen, interessanten und herausfordernden Bereich überführen und neue Forschungsfragen beantworten. Dabei konzentrieren wir uns auf Video Browsing mit modernen Tablet-Computern, welche durch ausreichende Leistung und neuen Interaktionsmöglichkeiten, sowie Kommunikationsfunktionen, komplett neue Szenarien für die interaktive Suche ermöglichen.

Angenommen Sie besitzen eine große Sammlung von persönlichen Videoaufnahmen (bspw. all Ihre persönlichen Videos der letzten 10 Jahre) und möchten darin einen bestimmten Inhalt finden (zum Beispiel eine spezielle Szene wo Sie mit Ihrem Kind spielen). Welche Software würden Sie für eine solche Suchaufgabe verwenden? Die meisten Benutzer würden vermutlich auf einen einfachen Datei-Browser sowie eine gewöhnliche Video-Abspielsoftware (Video-Player) zurückgreifen, um damit ein Video nach dem anderen zu durchsuchen, und irgendwann hoffentlich die gewünschte Szene zu finden. Das Problem dabei ist allerdings, dass ein Video-Player nur lineare Suche in Videos erlaubt, und die Inhaltssuche damit sehr mühsam und zeitaufwendig ist. In diesem Forschungsprojekt haben wir untersucht, wie bessere Software Tools für die Inhaltssuche in Videos bereitgestellt werden können insbesondere auf Tablets, und wie solche Tools von den leistungsfähigen Funktionen moderner Tablets profitieren können (bspw. Multi-Touch Interaktion und entsprechend hohe Rechenleistung). Der Fokus lag dabei auf neue Interaktionsmodellen für die Navigation in Videos, sowie der Visualisierung der Inhaltsstruktur eines Videos durch 3D-Modelle und farbsortierte Anordnungen von Bildern. Um herauszufinden, ob solche neuartigen Benutzerschnittstellen besser für die Inhaltssuche in Videos geeignet sind, wurden mehrere Software-Prototypen implementiert, und im Vergleich zu gewöhnlicher Video-Player Software in mehreren Benutzerstudien evaluiert. Die Ergebnisse dieser Studien haben gezeigt, dass die im Projekt entwickelten, neuartigen Suchfunktionen eine wesentlich schnellere Suche nach gewünschten Szenen ermöglichen und, dass die neuen Interaktionsmodelle für die überwiegende Mehrheit der getesteten Personen auch wesentlich einfacher zu bedienen sind. Im Projekt wurde außerdem gezeigt, dass Tablets und Smartphones genügend Rechenleistung bieten, um darauf auch sehr anspruchsvolle 3D Oberflächen für das Durchsuchen von Videos bereitzustellen (bspw. einen interaktiven dreidimensionalen Filmstreifen, oder einen interaktiven Globus mit farblich sortierter Anordnung der Bilder) und, dass solche Benutzerschnittstellen eine auf Grund einer statistischen Auswertung signifikant schnellere Suche nach dem gewünschten Inhalt erlauben. Zusätzlich wurde untersucht, wie mehrere Multimediageräte zur gemeinsamen Suche in Videos verwendet werden können, um die Suchaufgabe durch Zusammenarbeit schneller zu lösen. Solche Such-Szenarien sind vor allem dann wichtig, wenn große Mengen an Videodaten in möglichst kurzer Zeit durchsucht werden müssen, und nicht genügend Zeit für eine aufwendige automatische Inhaltsanalyse bleibt. Ein Beispiel dafür wären die tragischen Anschläge beim Boston Marathon 2013, wo Kriminalisten möglichst schnell alle Aufnahmen von Überwachungskameras untersuchen mussten, um verdächtige Personen zu finden. Die Ergebnisse dieses Forschungsprojekts können für den Entwurf und die Entwicklung von Video-Interaktions Software in all jenen Anwendungsbereichen verwendet werden, wo es notwendig ist, in Videos durch menschliche Unterstützung nach bestimmten Inhalten zu suchen.