COMPARISON BETWEEN LOOK-AND-MOVE AND VISUAL SERVO CONTROL USING SIFT TRANSFORMS IN EYE-IN-HAND MANIPULATOR SYSTEMS

• Main Author: ILANA NIGRI
• Other Authors: RAUL QUEIROZ FEITOSA
• Language: Portuguese
• Published: PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO 2009
• Online Access: http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=15390@1; http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=15390@2

CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO === Visão Computacional pode ser utilizada para calibrar e auto-localizar robôs. Existem diversas aplicações de auto-localização e controle aplicadas a manipuladores industriais e robôs móveis. Em particular, o controle visual pode ser útil em intervenções submarinas, nas quais um manipulador robótico é acoplado a um ROV (Veículo de Operação Remota) para execução de tarefas em grandes profundidades, como o manuseio de válvulas de equipamentos como manifolds. Este trabalho tem como objetivo desenvolver e implementar técnicas de controle visual para auto-localização e posicionamento de manipuladores robóticos. Assume-se que o manipulador possui uma câmera presa em sua extremidade (configuração eye-in-hand). Duas técnicas de controle visual são estudadas: look-and-move e servo-visual, que diferem entre si pela realimentação do controle. A primeira utiliza sensores de posição, a partir de uma única imagem capturada no início da movimentação. A segunda utiliza diversas imagens capturadas durante o processo. A principal contribuição deste trabalho está no uso da transformada SIFT, robusta a rotações, translações, mudança de escala e iluminação, para obter e correlacionar pontos-chave entre as imagens de referência e capturadas em tempo real. A metodologia é validada experimentalmente através de um manipulador robótico baseado na estrutura mecânica de uma mesa x-y-0. Um sistema eletrônico é utilizado como interface entre o robô e o software de controle, onde estão implementadas todas as técnicas propostas. Testes iniciais são realizados com imagens de objetos circulares, sem o uso de transformações como o SIFT. Em seguida, são feitos testes com a imagem de um painel real de um manifold, utilizando transformadas SIFT para determinar a localização do manipulador em relação ao painel e controlá-lo até uma pose desejada. Os resultados mostram que o desempenho do controle servo-visual depende muito do tempo de processamento de cada imagem, ao contrário do look-and-move. No entanto, o controle servo-visual apresenta erros finais de posicionamento muito menores. O método SIFT é apropriado para uso em ambos os controles, desde que a resolução das imagens seja alta o suficiente para evitar correlações falsas. === Computer vision can be used to calibrate and self-localize robots. There are many applications in self-localization and control applied to industrial manipulators and mobile robots. In particular, visual control can be useful in submarine interventions, where a robotic manipulator is mounted on a Remote Operated Vehicle (ROV) to execute tasks at high depths, such as handling manifold valves. This work has the objective to develop and implement visual control techniques to self-localize and position robotic manipulators. It is assumed that a monocular camera is attached to the robot end-effector (eye-in-hand configuration). Two visual control techniques are studied: look-and-move and visual servo control. Their main difference is related to the adopted feedback sensors. The first technique uses position sensors with the aid of a single image captured at the beginning of the robot movement. The second technique relies on several images captured in real time during the robot movement. The main contribution of this work is the use of the SIFT transform, robust to rotation, translation, changes in scale and illumination, to obtain and correlate key-points between reference images and images captured in real time. The methodology is experimentally validated using a manipulator based on the mechanical structure of an x-y-0 coordinate table. An electronic system was developed to control the robot through a software in a computer, where were implemented all the techniques proposed. Preliminary tests are performed on simple circular-shaped objects, without the need for SIFT transforms. Next, tests are performed with a photo of an actual manifold panel typically used in submarine interventions, using SIFT transform to find the localization of the manipulator with respect to the panel. The results show that the performance of the visual servo control depends on the image processing time, unlike the look-and-move. However, the visual-servo control presents smaller positioning errors. The SIFT method is appropriate for both controls, since image resolution be high enough to avoid false matching.