Toward an alternative approach to multi-camera scene reconstruction

• Main Author: Yin, Jianfeng
• Other Authors: Jeremy Cooperstock (Internal/Supervisor)
• Format: Others
• Language: en
• Published: McGill University 2008
• Subjects: Engineering - Electronics and Electrical
• Online Access: http://digitool.Library.McGill.CA:80/R/?func=dbin-jump-full&object_id=21970

This dissertation addresses several issues related to 3D object reconstruction in a video-projected immersive environment, based on the views obtained from multiple cameras. One such issue is color correction to account for the differences between cameras and projectors. Various methods are investigated, and a neural network approach is proposed as an effective solution. The problem of textureless or occluded regions on the construction of depth maps is also considered. As an improvement, depth information is propagated by nonlinear diffusion processing based on image gradient constraints. Unlike traditional methods such as space carving and shape from silhouettes, this dissertation treats 3D reconstruction as a classification problem. The challenge is to find a suitable feature to distinguish surface points from non-surface ones. Two such features are proposed, one based on the color histogram of the projections of each voxel onto every camera, and the other, the Frobenius norm of the camera agreement matrix. Tensor voting is used to refine the reconstruction and the results are evaluated experimentally on synthetic and physical data. === Cette dissertation traite de différents aspects reliés à la reconstruction d'objets en 3D à partir d'images provenant de plusieurs caméras dans un environnement immersif de projection vidéo. Un des aspects est la correction des couleurs servant à compenser les différences entre caméras et projecteurs. Plusieurs méthodes sont analysées et une approche basée sur les réseaux neuronaux est proposée comme solution. Le probléme des régions cachées ou uniformes sur la construction des cartes de profondeur est aussi considéré. Comme amélioration, l'information de profondeur est propagée à l'aide de traitement non linéaire de diffusion basé sur des contraintes de gradient d'image. Contrairement aux méthodes traditionnelles telles le space carving et le shape-from-silhouettes, cette dissertation considére la reconstruction 3D comme un probléme de classication. Le défi consiste à trouver un attribut approprié afin de distinguer les points de surface de ceux qui n'en sont pas. Deux attributs sont proposés, l'un basé sur l'histogramme de couleurs des projections de chaque voxel sur toutes les caméras, l'autre sur la norme de Frobenius de la matrice d'entente des caméras. Le vote de tenseurs est employé pour raffiner la reconstruction et les résultats sont évalués expérimentalement sur des données réelles et synthétiques.