Abstract - Robust Machine Vision for Service Robotics

In this thesis the vision architecture ROVIS (RObust machine VIsion for Service Robotics) is suggested. The purpose of the architecture is to improve the robustness and accuracy of visual perceptual capabilities of service robotic systems. In comparison to traditional industrial robot vision where the working environment is predefined, service robots have to cope with variable illumination conditions and cluttered scenes. The key concept for robustness in this thesis is the inclusion of feedback structures within the image processing operations and between the components of ROVIS. Using this approach a consistent processing of visual data is achieved.

Specific for the suggested vision system are the novel methods used in two important areas of ROVIS: definition of an image ROI, on which further image processing algorithms are to be applied, and robust object recognition for reliable 3D object reconstruction. The ROI definition process, build around the well known "bottom-up top-down" framework, uses either pixel level information to construct a ROI bounding the object of interest or contextual knowledge from the working scene for bounding certain areas in the imaged environment. The object recognition and 3D reconstruction chain is developed for two cases: region and boundary based detected objects. Since vision in ROVIS relies on image segmentation on each processing stage, that is ROI definition and object recognition, robust segmentation methods had to be developed. As said before, the robustness of the proposed algorithms, and consequently of ROVIS, is represented by the inclusion of feedback mechanisms at image processing levels. The validation of ROVIS is performed through its integration in the overall control architecture of the service robotic system FRIEND. The performance of the proposed closed-loop vision methods is evaluated against their open-loop counterparts.

Kurzfassung - Robust Machine Vision for Service Robotics

In der vorliegenden Dissertation wird das Bildverarbeitungsrahmenwerk ROVIS (RObust machine VIsion for Service Robotics) vorgestellt. Dieses Rahmenwerk dient zur Verbesserung von Robustheit und Genauigkeit der visuell wahrnehmenden Fähigkeiten von Servicerobotiksystemen. Im Vergleich zu traditionellen Industrierobotern, bei denen die Arbeitsumgebung vordefiniert ist, müssen Serviceroboter variierende Beleuchtungsbedingungen und komplexe Umgebungen meistern. Das Schlüsselkonzept für die Robustheit in dieser Dissertation ist der Einsatz von Rückkopplungsstrukturen in den Bildverarbeitungsalgorithmen und zwischen den einzelnen ROVIS-Komponenten. Unter Verwendung dieses Ansatzes wird eine konsistente Verarbeitung der visuellen Daten erreicht.

Charakteristisch für das vorgeschlagene Bildverarbeitungssystem sind die neuartigen Methoden, die in zwei wichtigen Bereichen von ROVIS genutzt werden: die Definition von ROIs (Region Of Interest) im Bild, auf die dann weitere Bildverarbeitungsalgorithmen angewandt werden können, und die robuste Objekterkennung für zuverlässige 3D-Rekonstruktion. Das Verfahren zur Definition der ROI, das um das allgemein bekannte "bottom-up top-down" Rahmenwerk errichtet wurde, verwendet entweder Pixelinformationen zur Konstruktion einer ROI, die das interessierende Objekt enthält, oder kontextabhängige Erkenntnisse aus der Szene für die Begrenzung bestimmter Bereiche der visualisierten Umgebung. Die Objekterkennung und 3D-Rekonstruktion wurde für zwei Fälle entwickelt: bereichs- und kantenbasierte Erkennung von Objekten. Weil die Bildverarbeitung in ROVIS in jeder Verarbeitungsphase, d. h. bei der ROI-Definition und der Objekterkennung, auf Bildsegmentierung beruht, mussten robuste Segmentierungsalgorithmen entwickelt werden. Wie bereits erwähnt, wird die Robustheit der vorgestellten Verfahren und damit die Robustheit von ROVIS durch den Einsatz von Rückkopplungsstrukturen auf der Ebene der Bildverarbeitung erreicht. Eine Bestätigung der Güte von ROVIS ist durch die Integration im Steuerungsrahmenwerk des Serviceroboters FRIEND gegeben. Die Effizienz der vorgestellten visuellen Rückkopplungsmethoden wird durch einen Vergleich mit den zugehörigen Verfahren, die offene Regelkreise verwenden, bewertet.