Objektverständnis durch erkundende Roboterinteraktion
Making Sense of Objects from Exploratory Robotic Interaction
Wissenschaftsdisziplinen
Elektrotechnik, Elektronik, Informationstechnik (40%); Informatik (60%)
Keywords
-
Robot Vision,
Object Reconstruction,
Object Interaction,
Exploration,
Causality
Ob es um das Vorbereiten von Lebensmitteln zum Kochen, das Servieren von Mahlzeiten oder das Aufräumen eines Tisches geht viele Assistenzaufgaben von Robotern können als Umordnen der Umgebung angesehen werden, für die sie Objekte zwischen verschiedenen Orten bewegen müssen. Roboter müssen in der Lage sein, solche Aufgaben in dynamischen Umgebungen auszuführen wie etwa in Wohnungen oder Büros , in denen bekannte Objekte mit der Zeit bewegt werden und sich verändern, während regelmäßig neue Objekte hinzugefügt werden. So kann sich, beispielsweise in einer Küche, eine Mehltüte beim Entleeren verformen oder eine neue Marke eine völlig andere Verpackung haben. Solche Veränderungen des Aussehens der Objekte sind jedoch für die derzeitigen Wahrnehmungsansätze von Robotern nur schwer zu bewältigen. Gleichzeitig erschwert die Veränderung der Form der Objekte auch die Interaktion der Roboter. Die Anpassung an und das Erlernen des Umgangs mit diesen Veränderungen stellt eine große Herausforderung für die tägliche Nutzung von Robotern dar. Unser Ziel ist es daher, die Grundlage für ein kontinuierliches und autonomes Lernen von Objekten und Interaktionen zu schaffen, damit Roboter ihre Umgebung durch Erkundung verstehen können. Einerseits erzeugen solche erkundende Interaktionen Situationen, die es dem Roboter ermöglichen, schrittweise kausale Beziehungen zu Objekteigenschaften zu lernen, die er sonst nicht beobachten würde. Andererseits kann der Roboter, wenn er auf eine Situation stößt, die über die Grenzen seiner derzeitigen Fähigkeiten hinausgeht, auf erkundende Interaktionen zurückgreifen, die es ihm ermöglichen, robust mit Veränderungen umzugehen und sich schneller an neue Aufgaben anzupassen. Beispielsweise kann ein Roboter durch die erkundende Interaktion mit verschiedenen Behältern lernen, sich an deren unterschiedliche Form, Gewicht oder Festigkeit anzupassen. Im Gegensatz zum einfachen Lernen der Interaktion mit jedem einzelnen Behälter kann der Roboter ein Verhältnis zwischen den physikalischen Eigenschaften der Behälter und der Art und Weise, wie er mit ihnen interagieren muss, um seine Aufgabe zu erfüllen, lernen. Durch das Erlernen solcher kausaler Module aus der Erkundung erlangt der Roboter ein Verständnis von Konzepten, die von einem bestimmten Objekt oder einer bestimmten Umgebung losgelöst sind. Wir werden dies durch Umordnungsaufgaben mit verschiedenen konkreten Zielen demonstrieren. Durch das Ausnutzen zunehmend komplexer Informationen über die Objekte kann der Roboter dynamische Interaktionen durchführen, die ohne das vorgeschlagene Objektverständnis nicht möglich wären. Der untersuchte erkundende Ansatz verringert dadurch den menschlichen Aufwand, um Robotern die Interaktion mit neuartigen Objekten beizubringen, und erhöht gleichzeitig die Robustheit der Wahrnehmung und Interaktion von Robotern gegenüber Veränderungen des Aussehens und der physikalischen Eigenschaften von Objekten.
- Columbia University New York - 100%
Research Output
- 37 Zitationen
- 6 Publikationen
-
2025
Titel TRICKY 2024 Challenge on Monocular Depth from Images of Specular and Transparent Surfaces DOI 10.1007/978-3-031-91569-7_16 Typ Book Chapter Autor Zama Ramirez P Verlag Springer Nature Seiten 248-266 -
2025
Titel Real2Code: Reconstruct Articulated Objects via Code Generation Typ Conference Proceeding Abstract Autor Weng Y Konferenz International Conference on Learning Representations (ICLR) Link Publikation -
2025
Titel RoboPanoptes: The All-seeing Robot with Whole-body Dexterity Typ Conference Proceeding Abstract Autor Bauer D Konferenz Robotics: Science and Systems (RSS) Link Publikation -
2024
Titel DoughNet: A Visual Predictive Model for Topological Manipulation of Deformable Objects DOI 10.1007/978-3-031-72940-9_6 Typ Book Chapter Autor Bauer D Verlag Springer Nature Seiten 92-108 -
2024
Titel Challenges for Monocular 6-D Object Pose Estimation in Robotics DOI 10.1109/tro.2024.3433870 Typ Journal Article Autor Thalhammer S Journal IEEE Transactions on Robotics Seiten 4065-4084 -
0
Titel One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies Typ Other Autor Liang L Konferenz Conference on Robotic Learning (CoRL). Under review. Link Publikation