Combinaison de caméras thermique et couleur pour la segmentation cibles/arrière-plan en environnement non contrôlé

• Main Author: St-Laurent, Louis
• Other Authors: Maldague, Xavier
• Format: Doctoral Thesis
• Language: French; French
• Published: Université Laval 2012
• Subjects: TK 7.5 UL 2012; Vidéosurveillance; Imagerie infrarouge; Traitement d'images > Techniques numériques
• Online Access: http://hdl.handle.net/20.500.11794/23368; http://hdl.handle.net/20.500.11794/23368

La plupart des systèmes de surveillance vidéo que l’on retrouve actuellement sur le marché utilisent uniquement la région visible du spectre électromagnétique. De plus, les solutions proposées à ce jour afin de suivre automatiquement les objets en mouvement dans une scène sont souvent trop exigeantes numériquement pour pourvoir être effectuées en temps réel et présentent une dégradation significative des performances en environnement extérieur. L’objectif de cette thèse est d’exploiter la combinaison d’informations thermique et visible afin d’améliorer l’efficacité de détection et de suivi d’objets d’intérêt en environnement non contrôlé. Dans le cadre de ce projet, un seul nœud d’acquisition fixe est considéré. Un nœud est constitué d’une caméra thermique LWIR (8 - 12 m) et d’une caméra visible couleur. Trois défis techniques majeurs sont abordés : le développement d’une plateforme d’acquisition thermique / visible optimisée pour les applications de surveillance vidéo en environnement extérieur, la segmentation, en temps réel, d’objets en mouvement en environnement non contrôlé, et finalement, la combinaison de l’information thermique et couleur. Un intérêt soutenu est porté à la rapidité d’exécution afin d’atteindre une vitesse de traitement minimale de 10 trames par secondes. Il importe de mentionner que cette thèse a principalement été orientée selon les besoins du programme de Vision de l’INO, conférant ainsi un caractère très pratique et concret à la recherche. De ce fait, les algorithmes développés ont été continuellement testés et améliorés dans le cadre d'applications réelles. Les éléments relatifs à la mise en correspondance d'images thermique et visible ont permis le développement et la fabrication de le caméra VIRXCam, un produit offert par l'INO. Les algorithmes de détection constituent pour leur part le cœur du logiciel de surveillance vidéo AWARE, déjà utilisé depuis 2007 par un partenaire de l'INO s'intéressant au positionnement des objets en mouvement sur les pistes, voies de circulation et aires de stationnement d'aéroports. Cette thèse constitue un recueil très complet des éléments à considérer lors du développement d’une plateforme de vidéo surveillance en environnement extérieur. Tant les aspects matériels que logiciels sont traités. Nous espérons qu’elle constituera un ouvrage de référence pour les personnes qui s’intéressent au développement d’algorithmes temps réel pour des applications de détection de cibles en environnement non-contrôlé ou à la conception d’un capteur hybride thermique / visible. === La plupart des systèmes de surveillance vidéo que l’on retrouve actuellement sur le marché utilisent uniquement la région visible du spectre électromagnétique. De plus, les solutions proposées à ce jour afin de suivre automatiquement les objets en mouvement dans une scène sont souvent trop exigeantes numériquement pour pourvoir être effectuées en temps réel et présentent une dégradation significative des performances en environnement extérieur. L’objectif de cette thèse est d’exploiter la combinaison d’informations thermique et visible afin d’améliorer l’efficacité de détection et de suivi d’objets d’intérêt en environnement non contrôlé. Dans le cadre de ce projet, un seul nœud d’acquisition fixe est considéré. Un nœud est constitué d’une caméra thermique LWIR (8 - 12 m) et d’une caméra visible couleur. Trois défis techniques majeurs sont abordés : le développement d’une plateforme d’acquisition thermique / visible optimisée pour les applications de surveillance vidéo en environnement extérieur, la segmentation, en temps réel, d’objets en mouvement en environnement non contrôlé, et finalement, la combinaison de l’information thermique et couleur. Un intérêt soutenu est porté à la rapidité d’exécution afin d’atteindre une vitesse de traitement minimale de 10 trames par secondes. Il importe de mentionner que cette thèse a principalement été orientée selon les besoins du programme de Vision de l’INO, conférant ainsi un caractère très pratique et concret à la recherche. De ce fait, les algorithmes développés ont été continuellement testés et améliorés dans le cadre d'applications réelles. Les éléments relatifs à la mise en correspondance d'images thermique et visible ont permis le développement et la fabrication de le caméra VIRXCam, un produit offert par l'INO. Les algorithmes de détection constituent pour leur part le cœur du logiciel de surveillance vidéo AWARE, déjà utilisé depuis 2007 par un partenaire de l'INO s'intéressant au positionnement des objets en mouvement sur les pistes, voies de circulation et aires de stationnement d'aéroports. Cette thèse constitue un recueil très complet des éléments à considérer lors du développement d’une plateforme de vidéo surveillance en environnement extérieur. Tant les aspects matériels que logiciels sont traités. Nous espérons qu’elle constituera un ouvrage de référence pour les personnes qui s’intéressent au développement d’algorithmes temps réel pour des applications de détection de cibles en environnement non-contrôlé ou à la conception d’un capteur hybride thermique / visible. === Most existing video monitoring systems only use the visible range of the electromagnetic spectrum. Moreover, approaches proposed until now for automated target detection and tracking are often too computationally expensive for real-time applications and suffer significant performance degradation in outdoor environment. The purpose of this thesis is to make the most of thermal and visible information in order to improve efficiency of detection and tracking of moving target in uncontrolled environment. Within the framework of this project, only one motionless acquisition node is considered. A node includes a LWIR thermal camera (8 - 12 m) and a color electro-optical camera. Three main technical challenges are tackled: development of an hybrid thermal / visible acquisition platform optimized for video monitoring applications in outdoor environment, segmentation of moving targets in uncontrolled environment, and finally, combination of thermal and color information. For every aspect, special attention is addressed to computational efficiency to reach a minimum processing rate of 10 frames per second. It is worth to mention that this thesis has mainly been oriented along needs of INO's Vision program, conferring a very concrete and practical aspect to the research. Hence, developed algorithms have been continually assessed and improved in the context of real applications. Notions related to thermal / visible images registration have lead to development and manufacturing of the INO's VIRXCam camera, while detection algorithms are the grounding elements of INO's AWARE video monitoring library, used since 2007 by an INO's partner interested in positioning of moving targets on airport aprons, taxiways and runways. This thesis regroups most notions to be considered in the development of an outdoor video monitoring system. Both hardware and software aspects are addressed. We hope that this document will be used as a work of reference for those interested in the development of algorithms devoted to real-time detection of moving targets in uncontrolled environment, or interested in the design of hybrid thermal/electro-optical acquisition platform. === Most existing video monitoring systems only use the visible range of the electromagnetic spectrum. Moreover, approaches proposed until now for automated target detection and tracking are often too computationally expensive for real-time applications and suffer significant performance degradation in outdoor environment. The purpose of this thesis is to make the most of thermal and visible information in order to improve efficiency of detection and tracking of moving target in uncontrolled environment. Within the framework of this project, only one motionless acquisition node is considered. A node includes a LWIR thermal camera (8 - 12 m) and a color electro-optical camera. Three main technical challenges are tackled: development of an hybrid thermal / visible acquisition platform optimized for video monitoring applications in outdoor environment, segmentation of moving targets in uncontrolled environment, and finally, combination of thermal and color information. For every aspect, special attention is addressed to computational efficiency to reach a minimum processing rate of 10 frames per second. It is worth to mention that this thesis has mainly been oriented along needs of INO's Vision program, conferring a very concrete and practical aspect to the research. Hence, developed algorithms have been continually assessed and improved in the context of real applications. Notions related to thermal / visible images registration have lead to development and manufacturing of the INO's VIRXCam camera, while detection algorithms are the grounding elements of INO's AWARE video monitoring library, used since 2007 by an INO's partner interested in positioning of moving targets on airport aprons, taxiways and runways. This thesis regroups most notions to be considered in the development of an outdoor video monitoring system. Both hardware and software aspects are addressed. We hope that this document will be used as a work of reference for those interested in the development of algorithms devoted to real-time detection of moving targets in uncontrolled environment, or interested in the design of hybrid thermal/electro-optical acquisition platform.