Diverse Image Generation with Very Low Resolution Conditioning

• Main Author: Abid, Mohamed Abderrahmen
• Other Authors: Gagné, Christian
• Format: Dissertation
• Language: English
• Published: Université Laval 2021
• Subjects: Analyse d'images.; Imagerie (Technique) > Qualité de l'image.; Résolution (Optique)
• Online Access: http://hdl.handle.net/20.500.11794/70396

Traditionnellement, lorsqu’il s’agit de générer des images à haute résolution (HR) à partir d’images à basse résolution (LR), les méthodes proposées jusqu’à maintenant se sont principalement concentrées sur les techniques de super-résolution qui visent à récupérer l’image la plus probable à partir d’une image de basse qualité. En procédant de cette manière, on ignore le fait qu’il existe généralement de nombreuses versions valides d’images HR qui correspondent à une image LR donnée. L’objectif de ce travail est d’obtenir différentes versions d’images HR à partir d’une même image LR en utilisant un modèle adversarial génératif. On aborde ce problème sous deux angles différents. D’abord, on utilise des méthodes de super résolution, où en plus de l’image LR, le générateur peut être paramétré par une variable latente afin de produire différentes variations potentielles de l’image. Un tel conditionnement permet de moduler le générateur entre la récupération de l’image la plus proche de la vérité terrain et de variété d’images possibles. Les résultats démontrent notre supériorité en termes de reconstruction et de variété d’images hallucinées plausible par rapport à d’autres méthodes de l’état de l’art. La deuxième approche s’appuie sur les travaux de traduction d’image à image, en proposant une nouvelle approche où le modèle est conditionné sur une version LR du cible. Plus précisément, notre approche vise à transférer les détails fins d’une image source HR pour les adapter la structure générale, selon la version LR de celle-ci. On génère donc des images HR qui partagent les caractéristiques distinctives de l’image HR et qui correspond à l’image LR de la cible lors de la réduction d’échelle. Cette méthode diffère des méthodes précédentes qui se concentrent plutôt sur la traduction d’un style d’image donné en un contenu cible. Les résultats qualitatifs et quantitatifs démontrent des améliorations en termes de qualité visuelle, de diversité et de couverture par rapport aux méthodes de pointe telles que Stargan-v2. === Traditionally, when it comes to generating high-resolution (HR) images from a low-resolution(LR) images, the methods proposed so far have mainly focused on super-resolution techniques that aim at recovering the most probable image from low-quality image. Doing so ignores the fact that there are usually many valid versions of HR images that match a given LR image. The objective of this work is to obtain different versions of HR images from the same LR imageusing a generative adversarial model. We approach this problem from two different angles. First, we use super-resolution methods, where in addition to the LR image, the generator can be parameterized by a latent variable to produce different potential variations of the image. Such a conditioning allows to modulate the generator between retrieving the closest image to the ground truth and a variety of possible images. The results demonstrate our superiority in terms of reconstruction and variety of plausible hallucinated images compared to other state-of-the-art methods. The second approach builds on the work of image-to-image translation, by proposing a new approach where the model is conditioned on a LR version of the target. More precisely, our approach aims at transferring the fine details of an HR source image to fit the general structure, according to the LR version of it. We therefore generate HR images that share the distinctive features of the HR image and match the LR image of the target duringdownscaling. This method differs from previous methods that focus instead on translatinga given image style into target content. Qualitative and quantitative results demonstrate improvements in visual quality, diversity, and coverage over state-of-the-art methods such asStargan-v2.