Algorithmes et analyses perceptuelles pour la navigation interactive basée image

• Main Author: Chaurasia, Gaurav
• Other Authors: Nice
• Language: en
• Published: 2014
• Subjects: Vision par ordinateur; Infographie; Rendu à base d'images; Reconstruction 3D; Perception; Réalité virtuelle; Computer vision; Computer graphics; Image-based rendering; 3D reconstruction; Image warping; Virtual reality
• Online Access: http://www.theses.fr/2014NICE4005/document

Nous présentons une approche de rendu à base d'images (IBR) qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes dépendent des modèles 3D et donnent lieu à des rendus de qualité réduite avec beaucoup d'artefacts. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie 3D. Nous utilisons un warp d'image guidé par des cartes de profondeur quasi-denses qui donnent lieu à beaucoup moins d'artefacts. En se basant sur cette approche, nous avons développé une méthode entièrement automatique permettant de traiter les scènes complexes. Nous sur-segmentons les images d’entrées en superpixels qui limitent les occlusions sur les bords des objets. Nous introduisons la synthèse de profondeur pour créer une approximation de cette profondeur mal reconstruite dans certaines régions et calculons les warps sur les superpixels pour synthétiser le résultat final. Nous comparons nos résultats à de nombreuses approches récentes. Nous avons analysé les artefacts de l'IBR d'un point de vue perceptif en comparant les artefacts générés par le mélange de plusieurs images avec ceux des transitions temporelles brusques et avons élaboré une méthodologie pour la sélection d'un compromis idéal entre les deux. Nous avons également analysé les distorsions perspectives et avons développé un modèle quantitatif qui permet de prédire les distorsions en fonction des paramètres de capture et de visualisation. Comme application, nous avons mis en œuvre un système de réalité virtuelle qui utilise l'IBR à la place de l'infographie traditionnelle. === We present image-based rendering (IBR) approaches that allow free viewpoint walkthroughs of urban scenes using just a few photographs as input. Previous approaches depend upon 3D models which give artifacts as the quality of 3D model degrades. In this thesis, we propose image-based approximations to compensate for the lack of accurate 3D geometry. In the first project, we use discontinuous shape-preserving image warp guided by quasi-dense depth maps which gives far fewer rendering artifacts than previous approaches. We build upon this approach in the second project by developing a completely automated solution that is capable of handling more complex scenes. We oversegment input images into superpixels that capture all occlusion boundaries. We introduce depth synthesis to create approximate depth in very poorly reconstructed regions and compute shape-preserving warps on superpixels to synthesize the final result. We also compare our results to many recent approaches. We analyze IBR artifacts from a perceptual point of view. In the first study, we compare artifacts caused by blending multiple images with abrupt temporal transitions and develop guidelines for selecting the ideal tradeoff. We use vision science in another study to investigate perspective distortions and develop a quantitative model that predicts distortions as a function of capture and viewing parameters. We use guidelines from these experiments to motivate the design of our own IBR systems. We demonstrate the very first virtual reality system that uses IBR instead of traditional computer graphics. This drastically reduces the cost of modeling 3D scenes while producing highly realistic walkthroughs.