Haptic optical tweezers with 3D high-speed tracking

• Main Author: Yin, Munan
• Other Authors: Paris 6
• Language: en
• Published: 2017
• Subjects: Pinces optiques; Calcul asynchrone basé sur évènements; Retour haptique; Micromanipulation; Capteur de force; Application biologique; Asynchronous event-based tracking; Haptic feedback; Force sensor; 629.892
• Online Access: http://www.theses.fr/2017PA066003/document

La micromanipulation a un grand potentiel pour révolutionner la recherche biologique et les soins médicaux. À petite échelle, microrobots peuvent effectuer des tâches médicales avec peu invasive, et d'explorer la vie à un niveau fondamental. Pinces optiques sont l'une des techniques les plus populaires pour la manipulation biologique. La production de petits lots qui exige une grande flexibilité repose principalement sur le processus de téléopération. Cependant, le niveau limité d'intuitivité rend de plus en plus difficile de conduire efficacement les tâches de manipulation et d'exploration dans le micromonde complexe. Dans de telles circonstances, des chercheurs pionniers ont proposé d'incorporer l'haptique dans la boucle de contrôle du système OTs, qui vise à gérer les tâches de micromanipulation de manière plus flexible et plus efficace. Cependant, la solution n'est pas encore complète, et il ya deux défis principaux à résoudre dans cette thèse: Détection de force 3D, qui doit être précis, rapide et robuste dans un espace de travail suffisamment grand; Haute vitesse jusqu'à 1 kHz force de rétroaction, ce qui est indispensable pour permettre une sensation tactile fidèle et d'assurer la stabilité du système. Dans la micromanipulation des pinceaux optiques, la vision est un bon candidat pour l'estimation de la force puisque le modèle force-position est bien établi. Cependant, le suivi de 1 kHz dépasse la vitesse des procédés de traitement classiques. La discipline émergente de l'ingénierie biomorphe visant à intégrer les comportements de vie dans le matériel informatique ou le logiciel à grande échelle rompt le goulot d'étranglement. Le capteur d'image asynchrone basé sur le temps (ATIS) est la dernière génération de prototype de rétine de silicium neuromorphique qui enregistre seulement les changements de contraste de scène sous la forme d'un flux d'événements. Cette propriété exclut le fond redondant et permet la détection et le traitement des mouvements à grande vitesse. La vision événementielle a donc été appliquée pour répondre à l'exigence de la rétroaction de force 3D à grande vitesse. Le résultat montre que les premières pinces optiques haptiques 3D à grande vitesse pour une application biologique ont été obtenues. La réalisation optique et les algorithmes de suivi événementiel pour la détection de force 3D à grande vitesse ont été développés et validés. L'exploration reproductible de la surface biologique 3D a été démontrée pour la première fois. En tant que puissant capteur de force 3D à grande vitesse, le système de pinces optiques développé présente un potentiel important pour diverses applications. === Micromanipulation has a great potential to revolutionize the biological research and medical care. At small scales, microrobots can perform medical tasks with minimally invasive, and explore life at a fundamental level. Optical Tweezers are one of the most popular techniques for biological manipulation. The small-batch production which demands high flexibilities mainly relies on teleoperation process. However, the limited level of intuitiveness makes it more and more difficult to effectively conduct the manipulation and exploration tasks in the complex microworld. Under such circumstances, pioneer researchers have proposed to incorporate haptics into the control loop of OTs system, which aims to handle the micromanipulation tasks in a more flexible and effective way. However, the solution is not yet complete, and there are two main challenges to resolve in this thesis: 3D force detection, which should be accurate, fast, and robust in large enough working space; High-speed up to 1 kHz force feedback, which is indispensable to allow a faithful tactile sensation and to ensure system stability. In optical tweezers micromanipulation, vision is a sound candidate for force estimation since the position-force model is well established. However, the 1 kHz tracking is beyond the speed of the conventional processing methods. The emerging discipline of biomorphic engineering aiming to integrate the behaviors of livings into large-scale computer hardware or software breaks the bottleneck. The Asynchronous Time-Based Image Sensor (ATIS) is the latest generation of neuromorphic silicon retina prototype which records only scene contrast changes in the form of a stream of events. This property excludes the redundant background and allows high-speed motion detection and processing. The event-based vision has thus been applied to address the requirement of 3D high-speed force feedback. The result shows that the first 3D high-speed haptic optical tweezers for biological application have been achieved. The optical realization and event-based tracking algorithms for 3D high-speed force detection have been developed and validated. Reproducible exploration of the 3D biological surface has been demonstrated for the first time. As a powerful 3D high-speed force sensor, the developed optical tweezers system poses significant potential for various applications.