Portime II

Das Ziel des Projektes PORTIME II ist die Entwicklung von robusten und zuverlässigen Methoden zur Bestimmung der Pose (= Position und Orientierung) von Objekten aus einem oder mehreren Kamerabildern. Diese Technik ermöglicht die flexible Steuerung von Handhabungsgeräten und Robotern und eröffnet neue Einsatzmöglichkeiten. PORTIME II setzt die grundlegenden Forschungen fort, die im Projekt PORTIME begonnen wurden. In PORTIME (Pose-Bestimmung in Echtzeit in einer Fertigungsumgebung) wurde ein modulares Konzept entwickelt, das die grundlegenden Funktionen Objekte erkennen, Objekte verfolgen und Pose bestimmen in einem System vereint. Das Ergebnis ist ein intelligentes Sensor System (ISS), das aus einer vollständig regelbaren Farbkamera (Zoom, Fokus, Iris) und den für die Aufgabe notwendigen Softwareroutinen besteht. Mit diesem ISS kann die Bewegung eines Roboters und ähnlicher Geräte in Echtzeit (Takt einer Videokamera, 40ms) geregelt werden. Der Stand der Arbeit und die erfolgte Demonstration bestätigen, daß der modulare und integrierende Ansatz in der Lage ist, das Problem der Posebestimmung zu lösen. Die breite Anwendbarkeit dieser Technik in der Industrie ist derzeit jedoch an eingeschränkte Umgebungen gebunden. Die Beschränkungen entstehen durch die geringe Robustheit und Zuverlässigkeit der Auswertung der Bilddaten. Und genau dieses Problem soll das Projekt PORTIME II lösen. Erste Schritte zur Lösung dieses Problems wurden bereits ausgetestet. So zeigte die Einbeziehung von Intensität, Farbe, und einer statistischen Methode in der Kantenbestimmung eine deutliche Erhöhung der Robustheit beim Linienerkennen. Forschungen, die Versuchen, die ausgezeichneten Fähigkeiten des menschlichen Sehens zu ergründen, kommen zu dem Schluß, daß der Integration verschiedener Merkmale eine große Rolle zukommt. So nützt diese Integration die Überbestimmtheit der Merkmale aus, um eine Verbesserung der Robustheit als auch der Zuverlässigkeit zu erreichen. In der Folge setzt sich PORTIME II zum Ziel eine grundlegende Theorie zur Integration einer großen Anzahl verschiedener Merkmale aus Kamerabildern zu entwickeln. Merkmale sind unter anderem Kanten, Intensität, Farbe, Regionen, Bewegung, Tiefe, Disparität und Stereo. Die Integration soll auch das Wissen über die Objekte verwerten, da diese Information durch die Aufgabenstellung vorhanden ist und die Robustheit weiter erhöht. Das entwickelte, modulare Konzept bildet die Basis für dieses integrierende Bildverarbeitungssystem. Neben der Verbesserung der Robustheit durch Verwendung mehrerer Merkmale, wird das Konfidenzmaß der Merkmale herangezogen und ausgewertet um Aussagen über die Zuverlässigkeit der Objekterkennung und der Posebestimmung zu erhalten. Der Zusammenbau eines Schalters aus homogenen Werkstücken (dies erschwert die Bildverarbeitung stellt jedoch eine gängige Bedingung dar) wird abschließend die Fähigkeiten der entwickelten Methode demonstrieren.

Das Ziel dieses Projektes ist die Entwicklung von robusten und zuverlässigen Methoden um die Pose von Objekten aus einem Bild oder einer Serie von Bildern eines bildgebenden Sensors zu bestimmen. Diese Technik ermöglicht die reagierende Regelung eines Mechanismus oder Roboters und eröffnet somit neue Anwendungen. Diese visuelle Bewegungsregelung ist die Technik mit der die Freiheitsgrade (DOF) eines Mechanismus mit Informationen aus den Bildern einer Kamera geregelt werden. Meist ist das Ziel die Bewegung im dreidimensionalen Raum zu regeln, das heißt, die Pose muss in 6 DOF (= Position und Orientierung) berechnet werden. Die Lösung vereinigt Bildaufnahme, Objekterkennung und Bestimmung der Pose. Die Erkennung benötigt die meiste Rechenzeit und wird häufig durch eine Objektverfolgung ersetzt, die nach einer Initialisierung beginnt. Die Objekterkennung wird nur einmal durchgeführt und stellt sicher, dass das richtige Objekt gefunden wird. Verfolgen bedeutet das wiederfinden in der nahen Umgebung des initialisierten Objektes in jedem Zyklus. Das Ziel dieses Projektes ist es zuverlässige und robuste Bildbearbeitungs- und Regelungsmethoden für die beiden kritischen Aufgaben Objekterkennung und Objektverfolgung zu finden. Für die Erkennung des Zielobjektes wird eine Multispektrale Klassifikation eingesetzt, um Bildmerkmale wie Farbe, Textur und Tiefe zu integrieren. Das Problem dabei ist die Abhängigkeit der Bildmerkmale von der mit der Kamera wahrgenommenen Farbe. Das menschliche Sehvermögen erzielt Farbkonstanz für ein Objekt in einem großen Bereich von Beleuchtungsbedingungen. Eine ähnliche Fähigkeit wird für "maschinelles Sehen" benötigt. Dieses Problem wurde gelöst indem der Roboter eine Farbtafel mit sich führt. Wenn der Roboter in einen anderen Raum mit veränderten Beleuchtungsverhältnissen gelangt, kalibriert er seine Kamera durch einen Blick auf die Referenztafel. Die Demonstrationen zeigen, dass dieser Ansatz sehr robust gegen verschiedene Belichtungsbedingungen ist, wie Neonlicht oder direktes Sonnenlicht und blaues oder stark fokussiertes Licht. Nach der Erkennung wird das Ziel verfolgt. Dies erfolgt mittels des entwickelten Software "Vision for Robotics" (V4R). V4R bestimmt die Pose des Objektes mit bis zu 50 Hz Taktrate. Das Posesignal wird nun verwendet um den Kamerakopf oder den Roboter zu regeln. Das größte Problem für die Reglerstruktur ist die Zeitverzögerung, die durch das Bildverarbeitungssystem verursacht wird. Um dieses Problem zu lösen werden Algorithmen untersucht, die die Pose des Zieles prädiktieren. Zwei unterschiedliche Prädiktionsstrategien werden verwendet, basierend auf einem Bewegungsmodell (Kalman Filter, aß-Filter), bzw. auf einem Bewegungsmodell des Mechanismus (Model Predictive Control). Das Prädiktionsfilter berechnet den zukünftigen Zustand des Zieles während der Regler mit Hilfe prädiktierter Positionen des Mechanismus ein Signal berechnet, mit dem der Mechanismus in die Richtung des Zieles bewegt wird. Um eine gute Reaktion zu erzielen ist es sehr wichtig, dass die Prädiktionsqualität des Filters gut ist. Der Unterschied zwischen Kalman Filter (KF) und aß-Filter ist die Möglichkeit das Kalman Filter auf den Zustand der Bewegung anzupassen. Das KF zeigt daher eine sehr gute Prädiktionsqualität für glatte schnelle Bewegungen und bei Rauschen. Das aß-Filter zeigt bei plötzlichen Änderungen besser Eigenschaften. Um diese Vorteile zu kombinieren wir eine Prädiktionsstrategie entwickelt bei der ein Supervisor (Prädiktion Monitor PM) plötzliche Änderungen in der Bewegung detektiert und zwischen verschiedenen Bewegungsmodellen für den Prädiktor schaltet. Wenn die Information des PM verwendet wird ist es auch möglich den Regler zu beeinflussen, um eine glatte Näherung nach einer plötzlichen Änderung zu erzielen.