Scene Flow Estimation from RGBD Images

Cette thèse aborde le problème du calcul de manière fiable d'un champ de mouvement 3D, appelé flot de scène, à partir d'une paire d'images RGBD prises à des instants différents. Nous proposons un schéma d'estimation semi-rigide pour le calcul robuste du flot de scène, en prenant...

Full description

Bibliographic Details
Main Author: Quiroga Sepúlveda, Julián
Other Authors: Grenoble
Language:en
Published: 2014
Subjects:
004
Online Access:http://www.theses.fr/2014GRENM057/document
id ndltd-theses.fr-2014GRENM057
record_format oai_dc
spelling ndltd-theses.fr-2014GRENM0572018-06-23T04:57:04Z Scene Flow Estimation from RGBD Images Estimation du flot de scène à partir des images RGBD Mouvement Profondeur RGBD Semi-rigide Flot de scene Variationnelle Motion Depth RGBD Semi-rigid Scene flow Variational 004 Cette thèse aborde le problème du calcul de manière fiable d'un champ de mouvement 3D, appelé flot de scène, à partir d'une paire d'images RGBD prises à des instants différents. Nous proposons un schéma d'estimation semi-rigide pour le calcul robuste du flot de scène, en prenant compte de l'information de couleur et de profondeur, et un cadre de minimisation alternée variationnelle pour récupérer les composantes rigides et non rigides du champ de mouvement 3D. Les tentatives précédentes pour estimer le flot de scène à partir des images RGBD étaient des extensions des approches de flux optique, et n'exploitaient pas totalement les données de profondeur, ou bien elles formulaient l'estimation dans l'espace 3D sans tenir compte de la semi-rigidité des scènes réelles. Nous démontrons que le flot de scène peut ^etre calculé de manière robuste et précise dans le domaine de l'image en reconstruisant un mouvement 3D cohérent avec la couleur et la profondeur, en encourageant une combinaison réglable entre rigidité locale et par morceaux. En outre, nous montrons que le calcul du champ de mouvement 3D peut être considéré comme un cas particulier d'un problème d'estimation plus général d'un champ de mouvements rigides à 6 dimensions. L'estimation du flot de scène est donc formulée comme la recherche d'un champ optimal de mouvements rigides. Nous montrons finalement que notre méthode permet d'obtenir des résultats comparables à l'état de l'art. This thesis addresses the problem of reliably recovering a 3D motion field, or scene flow, from a temporal pair of RGBD images. We propose a semi-rigid estimation framework for the robust computation of scene flow, taking advantage of color and depth information, and an alternating variational minimization framework for recovering rigid and non-rigid components of the 3D motion field. Previous attempts to estimate scene flow from RGBD images have extended optical flow approaches without fully exploiting depth data or have formulated the estimation in 3D space disregarding the semi-rigidity of real scenes. We demonstrate that scene flow can be robustly and accurately computed in the image domain by solving for 3D motions consistent with color and depth, encouraging an adjustable combination between local and piecewise rigidity. Additionally, we show that solving for the 3D motion field can be seen as a specific case of a more general estimation problem of a 6D field of rigid motions. Accordingly, we formulate scene flow estimation as the search of an optimal field of twist motions achieving state-of-the-art results.STAR Electronic Thesis or Dissertation Text en http://www.theses.fr/2014GRENM057/document Quiroga Sepúlveda, Julián 2014-11-07 Grenoble Crowley, James L
collection NDLTD
language en
sources NDLTD
topic Mouvement
Profondeur
RGBD
Semi-rigide
Flot de scene
Variationnelle
Motion
Depth
RGBD
Semi-rigid
Scene flow
Variational
004
spellingShingle Mouvement
Profondeur
RGBD
Semi-rigide
Flot de scene
Variationnelle
Motion
Depth
RGBD
Semi-rigid
Scene flow
Variational
004
Quiroga Sepúlveda, Julián
Scene Flow Estimation from RGBD Images
description Cette thèse aborde le problème du calcul de manière fiable d'un champ de mouvement 3D, appelé flot de scène, à partir d'une paire d'images RGBD prises à des instants différents. Nous proposons un schéma d'estimation semi-rigide pour le calcul robuste du flot de scène, en prenant compte de l'information de couleur et de profondeur, et un cadre de minimisation alternée variationnelle pour récupérer les composantes rigides et non rigides du champ de mouvement 3D. Les tentatives précédentes pour estimer le flot de scène à partir des images RGBD étaient des extensions des approches de flux optique, et n'exploitaient pas totalement les données de profondeur, ou bien elles formulaient l'estimation dans l'espace 3D sans tenir compte de la semi-rigidité des scènes réelles. Nous démontrons que le flot de scène peut ^etre calculé de manière robuste et précise dans le domaine de l'image en reconstruisant un mouvement 3D cohérent avec la couleur et la profondeur, en encourageant une combinaison réglable entre rigidité locale et par morceaux. En outre, nous montrons que le calcul du champ de mouvement 3D peut être considéré comme un cas particulier d'un problème d'estimation plus général d'un champ de mouvements rigides à 6 dimensions. L'estimation du flot de scène est donc formulée comme la recherche d'un champ optimal de mouvements rigides. Nous montrons finalement que notre méthode permet d'obtenir des résultats comparables à l'état de l'art. === This thesis addresses the problem of reliably recovering a 3D motion field, or scene flow, from a temporal pair of RGBD images. We propose a semi-rigid estimation framework for the robust computation of scene flow, taking advantage of color and depth information, and an alternating variational minimization framework for recovering rigid and non-rigid components of the 3D motion field. Previous attempts to estimate scene flow from RGBD images have extended optical flow approaches without fully exploiting depth data or have formulated the estimation in 3D space disregarding the semi-rigidity of real scenes. We demonstrate that scene flow can be robustly and accurately computed in the image domain by solving for 3D motions consistent with color and depth, encouraging an adjustable combination between local and piecewise rigidity. Additionally, we show that solving for the 3D motion field can be seen as a specific case of a more general estimation problem of a 6D field of rigid motions. Accordingly, we formulate scene flow estimation as the search of an optimal field of twist motions achieving state-of-the-art results.STAR
author2 Grenoble
author_facet Grenoble
Quiroga Sepúlveda, Julián
author Quiroga Sepúlveda, Julián
author_sort Quiroga Sepúlveda, Julián
title Scene Flow Estimation from RGBD Images
title_short Scene Flow Estimation from RGBD Images
title_full Scene Flow Estimation from RGBD Images
title_fullStr Scene Flow Estimation from RGBD Images
title_full_unstemmed Scene Flow Estimation from RGBD Images
title_sort scene flow estimation from rgbd images
publishDate 2014
url http://www.theses.fr/2014GRENM057/document
work_keys_str_mv AT quirogasepulvedajulian sceneflowestimationfromrgbdimages
AT quirogasepulvedajulian estimationduflotdesceneapartirdesimagesrgbd
_version_ 1718703591900839936