Maschinelles Lernen für Detektion und Verfolgung

Das primäre Ziel dieses Projektes ist es den "state of the art" von Objektdetektions- und Objektverfolgungs- Methoden signifikant zu verbessern. Dies wird möglich in dem die komplementäre Expertise von drei in Europa führenden Computer Vision Labs kombiniert wird. Die medizinische Workflow-Analyse dient primär als Testszenario um (i) neue Herausforderungen für Detektion und Verfolgung zu haben sowie (ii) um die neuen Algorithmen an komplexen Aufgaben testen zu können. Das Wissen um Handlungen und Handlungsabläufe in einem Operationssaal ist für eine Reihe von Anwendungen höchst relevant. Das Ziel in diesem Projekt ist es die Handlungen von Personen sowie großee Objekte mittels eines Multi-Kamerasystems zu erfassen, und diese dann als Eingabe an ein Workflow-Analysesystem zu übergeben. Aus algorithmischer Sicht liegt der Fokus des Projektes auf neuen Detektions und Tracking Methoden. Die notwendige Robustheit und Adaptivität soll durch neue on-line Lernverfahren erreicht werden. Unsupervised und Semi-supervised Lernen ist ein weiterer Forschungsfokus in dem Projekt. Lernen ist integraler Bestandteil der Detektion und der Trackingverfahren. Durch die starke Integration der Lernkomponente wird einerseits ein effizienteres Lernen durch bessere Daten als auch ein besseres Tracking und eine genauere Detektion durch szenenspezifische Modelle ermöglicht. Das Ergebnis der Detektion und der Objektverfolgung wird zur Analyse von Verhaltensmustern eingesetzt die wiederum Eingang in die medizinische Workflow-Analyse finden.

Dieser Projektteil des DACH Projektes hat sich mit maschinellen Lernmethoden beschäftigt, um Objektdetektions- und Objektverfolgungsmethoden zu verbessern. Als primäres Testszenario wurde die medizinische Workflow-Analyse gewählt, um einerseits neue Herausforderungen für Detektion und Verfolgung (Tracking) aufzuzeigen und andererseits die neuen Algorithmen mit komplexen Aufnahmen testen zu können. Das Ziel in diesem Projekt war, die Bewegungen und Handlungen von Personen in einem Operationssaal mittels eines Multi-Kamerasystems zu erfassen und diese dann als Eingabe an ein Workflow-Analysesystem zu übergeben. Der Forschungsschwerpunkt lag dabei auf neuen Detektions- und Tracking-methoden, da diese die wichtigsten Vorverarbeitungsschritte eines vollautomatisierten Analysesystems sind. Die Forschungsarbeit führte zu mehreren Verbesserungen bestehender Detektionsmethoden. So konnten wir durch eine effiziente Gewichtung der Parameter im Hough Forest Framework die Detektionsrate bei verdeckten Objekten signifikant erhöhen. Um auch in schwierigen Situationen (z.B. verursacht durch Beleuchtungsänderungen, Schattenwürfe, oder starke Verdeckungen) robuste Ergebnisse liefern zu können, wurden neue online Lernverfahren eingesetzt, welche die instanz-spezifische Adaptierung des Detektors ermöglichen. Durch eine detaillierte Untersuchung der zugrunde liegenden Lernverfahren konnte zusätzlich die benötigte Inferenzzeit deutlich reduziert werden. Des Weiteren konnten wir eine neue Trainingsmethode für das weit verbreitete Random Forest Framework aufzeigen, welche die Vorteile bestehender Trainingsmethoden um jene des Boosting-verfahrens erweitert. Die verbesserten Detektionsalgorithmen stellen eine wichtige Unterstützung der Trackingalgorithmen dar. Um auch in schwierigen Situationen mit mehreren (auch ähnlich angezogenen) Personen robuste Lokalisierung und Tracking zu ermöglichen, untersuchten wir unterschiedliche geometrische und visuelle Merkmale. Dabei konnten wir sowohl neue Kostenfunktionen zur Verkettung der Objektdetektionen, als auch neue Objektmodelle aufzeigen. Durch die Verwendung dieser komplementären Informationsquellen konnten wir die Trackingergebnisse deutlich verbessern. Zusammengefasst kann gesagt werden, dass die gesteckten Ziele des Projekts klar erreicht, und sogar übertroffen wurden. Viele Ergebnisse des Projekts wurden bereits bei facheinschlägigen Tagungen und Journals publiziert.