Unsupervised reconstruction of a Visual Hull in space, time and light domains

• Main Author: Mikhnevich, Maxim
• Other Authors: Laurendeau, Denis
• Format: Doctoral Thesis
• Language: English
• Published: Université Laval 2015
• Subjects: TK 7.5 UL 2015; Imagerie tridimensionnelle; Segmentation d'image; Traitement d'images > Techniques numériques; Silhouettes
• Online Access: http://hdl.handle.net/20.500.11794/26083

Cette thèse présente une approche de segmentation d’images sans supervision pour obtenir une série de silhouettes et l’enveloppe visuelle («Visual Hull») d’un objet observé à partir de plusieurs points de vue. L’approche proposée peut traiter essentiellement n’importe quelles propriétés d’apparence comme la texture, des couleurs similaires d’arrière-plan, la specularité, la transparence et d’autre phénomènes tels que des ombres et des débordements de couleur. Par rapport aux méthodes plus classiques d’extraction de silhouettes sur plusieurs vues, où certaines hypothèses sur l’objet ou la scène sont formulès, nous ne modélisons ni l’arrière-plan ni les propriétés d’apparence de l’objet. La seule hypothèse est la constance de l’arrière-plan considéré comme inconnu pour un point de vue lorsque l’objet bouge. L’idée principale de l’approche est d’estimer l’évolution temporelle de chaque pixel pour obtenir une mesure de stabilité. Celle-ci est utilisée pour construire la fonction de coût d’arrière-plan. Pour faire face aux ombres et aux ombres projetées, un objet est capturé sous différentes conditions d’éclairage. En outre, les informations d’espace, de temps et d’éclairage sont fusionnées et utilisées dans un formalisme de champ aléatoire de Markov et la fonction d’énergie construite est minimisée par «Graph Cuts». Les expérimentations en laboratoire, sous différentes conditions d’éclairage, montrent que l’approche proposée permet la reconstruction robuste de l’enveloppe visuelle pour une grande variété d’objets difficiles tels que les objets en verre (effets de transparence) ou en métal brillant (effets de réflexions spéculaires). === This thesis presents an unsupervised image segmentation approach for obtaining a set of silhouettes along with the Visual Hull of an object observed from multiple viewpoints. The proposed approach can deal with mostly any type of appearance characteristics such as texture, similar background color, shininess, transparency besides other phenomena such as shadows and color bleeding. Compared to more classical methods for silhouette extraction from multiple views, for which certain assumptions are made on the object or scene, neither the background nor the object appearance properties are modeled. The only assumption is the constancy of the unknown background for a given camera viewpoint while the object is under motion. The principal idea of the approach is the estimation of the temporal evolution of each pixel over time which provides a stability measurement and leads to its associated background cost function. In order to cope with shadows and self-shadows, an object is captured under different lighting conditions. Furthermore, the information from the space, time and lighting domains is exploited and merged based on a Markov Random Field framework and the constructed energy function is minimized via graph-cut. Real-data experiments under different lighting condition show that the proposed approach allows for robust Visual Hull reconstruction of a variety of challenging objects such as objects made of shiny metal or glass.