| Summary: | Cette thèse se concerne avec la restauration des images par l'élimination des occlusions indésirables et du flou attribué au mouvement de l'appareil. Ce flou est modélisé par un ensemble pondéré des poses de l'appareil, qui induit des transformations projectives sur l'image. Le flou est caractérisé par les poids, qui décrivent complètement le flou à tous les pixels de l'image. Nous montrons l'estimation directe de ces poids à partir des images seuls et des pairs d'images, en adaptent des algorithmes existants pour le défloutage (spatiellement-invariant) des images. Ceci nous permet de retrouver un version nette d'une image floue de manière automatique. Pour réduire le coût de l'utilisation de notre modèle, nous proposons une approximation fondée sur l'uniformité locale du flou. En groupant les pixels dans quelques régions locales, avec une seule fonction d'étalement du point (PSF) pour chaque région, nous pouvons utiliser des convolutions efficaces 2D pour calculer le flou. Ensuite, nous considérons le défloutage des images qui contiennent des pixels saturés et modifions notre modèle du flou pour inclure cette non-linéarité. Avec cette modèle, nous redérivons l'algorithme Richardson-Lucy en le modifiant afin de réduire le "ringing" attribué à celui-ci. Pour éliminer les occlusions indésirables, nous retrouvons automatiquement de l'Internet un ensemble d'images de la même scène. Nous obtenons une correspondance entre les pixels de chacune de ces images et de l'image cible avec des homgographies, et combinons plusieurs de ces images dans l'image cible pour remplacer les pixels occlus, en résoudrant un problème de minimisation d'énergie. === This thesis investigates the removal of spatially-variant blur from photographs degraded by camera shake, and the removal of large occluding objects from photographs of popular places. Spatially-variant blur caused by camera shake is modelled using a weighted set of camera poses, which induce homographies on the image. The blur in an image is parameterised by the set of weights, which fully describe the spatially-variant blur at all pixels. We demonstrate direct estimation of the blur weights from single and multiple images captured by conventional cameras, by adapting existing (spatially-invariant) deblurring algorithms. This permits a sharp image to be recovered from a blurry "shaken" image without any user interaction. To reduce the computational cost of our model, we introduce an approximation based on local-uniformity of the blur. By grouping pixels into local regions which share a single PSF, we can use fast 2D convolutions to perform the blur computation. For deblurring images with saturated pixels, we modify the forward model to include this non-linearity, and re-derive the Richardson-Lucy algorithm. To prevent ringing appearing in the output, we propose separate updates for pixels affected/not affected by saturation. In order to remove large occluders from photos, we automatically retrieve a set of exemplar images of the same scene from the Internet. We extract homographies between each of these images and the target image to provide pixel correspondences. Finally we combine pixels from several exemplars in a seamless manner to replace the occluded pixels, by solving an energy minimisation problem.
|
|---|
