Acquisition 3D des gestes par vision artificielle et restitution virtuelle

• Main Author: Gomez Jauregui, David Antonio
• Language: ENG
• Published: Institut National des Télécommunications 2011
• Subjects: [INFO] Computer Science; Acquisition 3D des gestes; Recalage 3D-2D; Vision monoscopique
• Online Access: http://tel.archives-ouvertes.fr/tel-00623730; http://tel.archives-ouvertes.fr/docs/00/62/37/30/PDF/TheseDavidGOMEZ.pdf

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d'interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. Ce travail vise à animer l'avatar à partir d'une acquisition 3D des gestes de l'utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d'un PC grand public équipé d'une webcam. L'approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d'une part et de l'image d'autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d'images monoculaires provient des ambiguïtés 3D/2D et de l'absence d'information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d'hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l'attitude des bras par l'extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l'incertitude sur la profondeur. Enfin, l'évaluation est accélérée par calcul sur GPU. En conclusion, l'algorithme proposé permet un suivi 3D robuste en temps-réel à partir d'une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur.