Autonomes Lernen der Bedeutung von Objekten

Roboter arbeiten immer mehr in der Nähe von und mit Menschen sowohl in der Fertigung als auch zu Hause. Dazu müssen Roboter und autonome Systeme über die relevanten Objekte wie Werkzeuge und Fertigungsmittel, Geräte in Service Anwendungen, und Gegenstände des täglichen Lebens bescheid Wissen. Trotz großer Fortschritte bei der Erkennung von Objekten und Objektklassen, sind Roboter immer auf die bereits gelernten Objekte beschränkt. Das Ziel von ALOOF ist es Robotern den Zugang zu Informationen und Wissen des World-Wide-Webs zu ermöglichen um auch vorher nicht gelernte Objekte zu erfassen und in der realen Szene anzuwenden. Dabei erweitern wir das Wissen des Roboters nicht nur um das Aussehen von neuen Objekten sondern auch um deren Eigenschaften und wo sie in ihrer Umgebung zu finden sind. Um dieses Ziel zu erreichen erforschen wir eine Methode um zwischen der Repräsentation des Roboters in seiner realen Umgebung und den Daten am Web zu übersetzen. Die vorgeschlagene meta-modale Repräsentation (d.h. eine Repräsentation aus Strukturen unterschiedlicher Modalitäten) basiert auf meta-modalen Einheiten und deren Relationen. Eine Einheit repräsentiert einen Objekttyp und besteht aus den modalen Merkmalen ermittelt aus den Sensordaten des Roboters und durch die Suche im Web. Die Merkmale sind verknüpft mit semantischen Eigenschaften je nach Einheit. Die Gesamtheit der meta- modalen Einheiten jedes Roboters ist in einer Ontologie strukturiert um formales Schlussfolgern zu unterstützen. Wir nützen diese Repräsentation um fehlendes Wissen im Roboter zu erkennen (z.B. unbekannte Objekte oder Eigenschaften von Objekten) und für die Planung um diese Lücken zu füllen. Da wir auf das Wissen im Web zugreifen wollen, werden wir auch Methoden erarbeiten um das relevante Wissen aus verschiedenen Web- Ressourcen mittels neuer Methoden zum Maschinen Lesen und Maschinen Sehen zu extrahieren. Unser Szenario zur Evaluierung des erzielten Fortschrittes ist eine offene häusliche Umgebung in der Roboter neue Objekte finden müssen. Als Maßzahl für den Erfolg verwenden wir die Anzahl der Wissenslücken (d.h., Situationen in denen der Roboter mit nicht vollständiger Information umgehen muss) die erkannt und autonom geschlossen werden können. Wir integrieren die Methoden auf unterschiedlichen mobilen Roboterplattformen wie dem Metralabs Scitos Roboter und dem Heimroboter HOBBIT.

Bei der Arbeit für Menschen müssen Roboter und autonome Systeme die Objekte kennen, die in der menschlichen Umgebung vorkomme, z.B. die Teile und Werkzeuge in der Fertigung, Gebrauchsgegenstände und Alltagsgegenstände. Während bei der Objekt- und Klassenerkennung große Fortschritte gemacht wurden, ist ein Roboter immer darauf beschränkt, nur bekannte Objekte oder Klassen zu erkennen. Das Ziel von ALOOF ist es, Robotern die Möglichkeit zu geben das immense Wissen im Web zu nutzen um sich über bisher nicht gesehene Objekte zu informieren und dieses Wissen in der realen Welt zu nutzen. Im Projekt entwickelten wir Methoden, die es Robotern ermöglichen, das Web zu nutzen. Die Methoden ermöglichen es das Aussehen neuer Objekte zu lernen und auch deren Eigenschaften einschließlich der wahrscheinlichen Orte, an denen sie in der Umgebung des Roboters zu finden sind. Eine wichtige Entwicklung war eine Repräsentation, die zwischen den Darstellungen im Web und wie sie für Roboter notwendig sind vermittelt. Zusammen mit den europäischen Partnern konnten die Methoden zur Objekterkennung in ein autonomes Robotersystem integriert werden. So entstand ein System, das selbständig Wissenslücken entdeckt und aktiv versucht die Lücken zu schließen. Die wichtigsten Ergebnisse umfassen: Deep Learning Architekturen, die in der Lage sind, die globalen und lokalen Eigenschaften des Webs und der vorhandenen visuellen Daten in datengesteuerter Weise zu nutzen, um die Lücke zwischen den visuellen Repräsentationen in diesen beiden Bereichen zu schließen, ein kohärenter, integrierter Ansatz für die Erkennung von Wissenslücken durch Roboter, die semantisches und perzeptuelles Web-Mining nutzen können, Perzeptuelle und semantische Algorithmen für ein automatisches Web-Mining, die eine sehr umfangreiche Sammlung strukturierter, kommentierter Daten, bestehend aus Text, RGB-Bildern und Tiefenkarten, erstellen können, ohne dass manuelle Annotation erforderlich ist. Ein Robotersystem, das die oben hervorgehobenen Komponenten integriert und in der Lage ist, selbständig Wissenslücken auf der Grundlage von autonom gesammelten Webinformationen zu schließen. Die im Projekt erzielten Ergebnisse stimmen mit den im technischen Anhang geplanten Zielen überein: Das Robotersystem ist in der Lage unbekannte Objekte näher zu bestimmen, die 3D-Form und das visuelles Erscheinungsbild zu erfassen, und durch semantische Information analysieren welche anderen Objekte wahrscheinlich sind in der Nähe gefunden zu werden.