InSitu - Integriertes Situiertes Bild- und Sprachverstehen für Mensch-Roboter Interaktion

Die vergangenen Jahre brachten beachtliche Fortschritte im Bereich persönlicher Roboter (seien es Haushaltsroboter oder Roboter im Bereich der Altenpflege). Wir sind aber immer noch weit entfernt von natürlicher Mensch-Maschine Interaktion in alltäglichen Situationen. Robustes visuelles Verstehen der Szene und Verstehen natürlicher Sprache sind zwei der größten Problemfelder. Wir glauben, das rührt zum Teil daher, daß diese beiden oft separat behandelt werden. Ein typischer Dialog zwischen Menschen situiert in derselben Szene beinhaltet viele Fälle wo Sehen und Sprache zusammen benutzt werden um ein gemeinsames Verstehen aufzubauen. Menschen blicken üblicherweise in Richtung eines Objekts, das gerade im Dialog erwähnt wird, und leiten so die Aufmerksamkeit des Gesprächspartners darauf. Weiters leiten Objektattribute aus (auch nur unvollständig) verstandenen Äußerungen "Gibst Du mir bitte das rote ...`` die Suche nach dem jeweiligen Objekt. Umgekehrt unterstützt das visuelle Verstehen einer Szene das Verstehen von mehrdeutigen oder unterspezifizierten Äußerungen - "das rote Buch auf dem Boden`` wird viel eher das Buch im Sichtfeld des Sprechers meinen, als dasjenige hinter ihrem Rücken. Somit können sich Bildverstehen und das Verstehen natürlicher Sprache gegenseitig und inkrementell unterstützen. Diese Projekt widmet sich dem engen Verzahnen von visuellem Verstehen der Szene mit dem Verstehen natürlicher Sprache. Wir glauben, daß Bildverstehen, Sprachverstehen und auch Handlungs- Subsysteme der Roboter Architektur sehr eng integriert sein müssen, um sich gegenseitig untersützen zu können. Das erfordert wiederum parallele Verarbeitung von Bildverstehen, Sprache und Handlungen, wobei alle Algorithmen in Lage sein müssen, neue Informationen jederzeit inkrementell einzubauen. Es erfordert weiterhin ein Software Framework, das nahtloses Verzahnen von Komponenten und Algorithmen in einem sehr engen zeitlichen Rahmen erlaubt. Eine derartige enge Integration wird es Robotern erlauben Objekte schneller zu finden, Referenzen zu Objekten schneller aufzulösen, eigene Handlungen schneller auszuführen und letztlich weit natürlichere Dialoge mit Menschen in alltäglichen Umgebungen zu führen.

Das Projekt InSitu beschäftigte sich mit der engen Integration von maschinellem Sehen und maschineller Spracherkennung. Beides sind für sich genommen schwierige Problemstellungen, v.a. im Kontext von autonomen Robotern, die in unstrukturierten Alltagsumgebungen Aufgaben ausführen sollen, wie Stelle die gelbe Tasse auf dem Tisch in das Regal. Ein Mensch, der diese Aufgabe gestellt bekäme, würde schon während der Satz noch gesprochen wird dem Blick oder der Geste des Gegenübers folgen und nach etwas gelbem Suchen.In InSitu wurden daher diese beiden Teilprobleme Sehen und Sprache gemeinsam bearbeitet. Hinweise aus (unter Umständen nur zum Teil) erkannten sprachlichen Äußerungen helfen der Bildverarbeitung, indem die Arbeit auf die relevanten Bildteile konzentriert wird, etwa auf gelbe Objekte im obigen Beispiel. Die Analyse einer gesamten komplexen 3-dimensionalen Szene kann mitunter lange dauern (etliche Sekunden auch auf modernen Rechnern). Wir konnten zeigen, dass mit einer derartigen situationsgerecht gesteuerten Aufmerksamkeit in Kombination mit inkrementellen Verarbeitungs-Methoden die Detektion von relevanten Objekten deutlich beschleunigt wird. Je nach Situation und Aufgabe sind hierbei verschiedene Aufmerksamkeitskanäle wichtig, wie z.B. Farbe, Form, oder auch Position (... die linke Tasse ...).Umgekehrt fließen visuelle Hinweise aus der Szene in die Spracherkennung ein. Wir konnten zeigen wie aus Äußerungen wie ein Erste Hilfe Koffer ist eine weiße Schachtel mit eine Griff und mit einem roten Kreuz darauf in einem einzigen Schritt Objekt-Klassen anhand von sprachlich beschreibbaren visuellen Merkmalen (Kreuz, rot) gelernt werden. Solcherart gelernte Klassen verallgemeinern auf qualitativ ähnliche Objekte und lassen Überlegungen zu wie Das Kreuz ist grün ist das immer noch ein Erste Hilfe Koffer?. Derartig semantisch tiefe Repräsentationen gehen damit über die sonst üblichen statistischen Methoden hinaus, die aus einer Vielzahl von Beispielen ähnliche Objekte lernen, ohne explizit beschreiben zu können worin die Ähnlichkeit besteht.Von besonderer Bedeutung sind hierbei Merkmale, die eine funktionale Relevanz haben (sogenannte affordances), wie z.B. Griffe (zum Greifen) oder Aushöhlungen (wie das Innere einer Tasse, als Behälter). Im Rahmen des Projektes wurde eine Systematik solcher affordances entwickelt, mit der sich Gegenstände in typischen Alltagsumgebungen beschreiben lassen, sowie Methoden um diese Merkmale in 3D Szenen zu detektieren.Die im Rahmen des Projektes entwickelten Methoden wurden auf 3 unterschiedlichen Robotern bei den beteiligten Partnern TU Wien und Tufts University / Boston getestet.