Benchmark um vom Menschen Robotergreifen zu lernen

Dieses Projekt wird wissenschaftliche Fortschritte für Benchmarking, Objekterkennung, Manipulation und Mensch-Roboter-Interaktion liefern. Wir konzentrieren uns darauf, einen komplexen, unstrukturierten Haufen unbekannter Objekte zu sortieren, die nuklearen Abfällen ähneln, die aus einer Reihe zerbrochener deformierter Körper bestehen, als ein Beispiel für eine äußerst komplexe Manipulationsaufgabe. Ziel des Konsortiums ist die Entwicklung eines End-to-End-Benchmarking- Rahmens, der strenge wissenschaftliche Methoden und experimentelle Werkzeuge für die Anwendung in realistischen Szenarien umfasst. Benchmark-Szenarien werden mit handelsüblichen Manipulatoren und Greifern entwickelt, um ein kostengünstiges Setup zu schaffen, das sowohl physisch als auch in der Simulation leicht reproduziert werden kann. Wir werden Benchmarkszenarien mit unterschiedlichen Komplexitäten entwickeln, d. H. Unregelmäßige Objekte erfassen und schieben, ausgewählte Objekte vom Heap erfassen, alle Objektinstanzen identifizieren und die Objekte sortieren, indem sie in entsprechende Bins platziert werden. Wir werden gescannte CAD-Modelle der Objekte bereitstellen, die für den 3D-Druck verwendet werden können, um unsere Benchmark- Szenarien neu zu erstellen. Benchmarks mit vorhandenen Erfassungsplanern und Manipulationsalgorithmen werden als Basis-Controller implementiert, die mit ROS leicht austauschbar sind. Die Fähigkeit von Robotern, völlig autark mit dichten Clustern oder einem Haufen unbekannter Objekte umzugehen, war aufgrund von Herausforderungen beim Szenenverständnis, bei der Erfassung und bei der Entscheidungsfindung sehr begrenzt. Stattdessen werden wir uns auf semi- autonome Ansätze stützen, bei denen ein menschlicher Operator mit dem System interagieren kann (z. B. unter Verwendung von Tele-Operation, aber nicht nur) und Befehle auf hoher Ebene gibt, um die autonome Fähigkeitsausführung zu ergänzen. Der Umfang der Autonomie unseres Systems wird der Komplexität der Situation angepasst. Wir werden auch unsere halbautonome Aufgabenausführung mit verschiedenen menschlichen Operatoren vergleichen und die Lücke zur aktuellen SOTA bei der autonomen Manipulation quantifizieren. Aufbauend auf unserem teilautonomen Steuerungsrahmen werden wir ein Manipulationsfähigkeitslernsystem entwickeln, das anhand von Demonstrationen und Korrekturen des menschlichen Operators lernt und somit komplexe Manipulationen auf dateneffiziente Weise erlernen kann. Um Objekterkennung und -segmentierung in unübersichtlichen Haufen zu verbessern, werden wir neue Wahrnehmungsalgorithmen entwickeln und die interaktive Wahrnehmung untersuchen, um das Verständnis des Roboters bezüglich der Szene in Bezug auf Objektinstanzen, Kategorien und Eigenschaften zu verbessern.

Dieses Projekt hat wissenschaftliche Fortschritte für Benchmarking, Objekterkennung, Manipulation und Mensch-Roboter-Interaktion geliefert. Wir konzentrieren uns auf das Sortieren eines komplexen, unstrukturierten Haufens unbekannter Objekte - ähnlich wie Atommüll, der aus einer Reihe zerbrochener deformierter Körper besteht - als Beispiel für eine äußerst komplexe Manipulationsaufgabe. Ziel des Konsortiums ist der Aufbau eines durchgängigen Benchmarking-Rahmens, der eine strenge wissenschaftliche Methodik und experimentelle Werkzeuge für die Anwendung in realistischen Szenarien umfasst. Die Benchmark-Szenarien werden mit handelsüblichen Manipulatoren und Greifern entwickelt, um einen erschwinglichen Aufbau zu schaffen, der sowohl physisch als auch in der Simulation leicht reproduziert werden kann. Wir werden Benchmark-Szenarien mit unterschiedlicher Komplexität entwickeln, d. h. Greifen und Schieben unregelmäßiger Objekte, Greifen ausgewählter Objekte aus dem Haufen, Identifizieren aller Objektinstanzen und Sortieren der Objekte durch Ablegen in entsprechende Behälter. Wir werden gescannte CAD-Modelle der Objekte zur Verfügung stellen, die für den 3D-Druck verwendet werden können, um unsere Benchmark-Szenarien nachzubilden. Benchmarks mit bestehenden Greifplanern und Manipulationsalgorithmen werden als Basissteuerungen implementiert, die mit ROS leicht austauschbar sind. Die Fähigkeit von Robotern, dichte Ansammlungen oder einen Haufen unbekannter Objekte völlig autonom zu handhaben, ist aufgrund der Herausforderungen beim Verstehen der Szene, dem Greifen und der Entscheidungsfindung sehr begrenzt. Stattdessen setzen wir auf teilautonome Ansätze, bei denen ein menschlicher Bediener mit dem System interagieren kann, indem er Teleoperationen durchführt und High-Level-Befehle gibt, um die autonome Ausführung der Fähigkeiten zu ergänzen. Der Grad der Autonomie unseres Systems wird an die Komplexität der Situation angepasst. Außerdem werden wir unsere halbautonome Aufgabenausführung mit verschiedenen menschlichen Bedienern vergleichen und den Unterschied zum derzeitigen SOTA in der autonomen Manipulation quantifizieren. Aufbauend auf unserem semi-autonomen Kontrollrahmen werden wir ein System zum Erlernen von Manipulationsfähigkeiten entwickeln, das aus Demonstrationen und Korrekturen des menschlichen Bedieners lernt und somit komplexe Manipulationen auf dateneffiziente Weise erlernen kann. Um die Objekterkennung und -segmentierung in unübersichtlichen Haufen zu verbessern, werden wir neue Wahrnehmungsalgorithmen entwickeln und die interaktive Wahrnehmung untersuchen, um das Verständnis des Roboters für die Szene in Bezug auf Objektinstanzen, Kategorien und Eigenschaften zu verbessern.