Robust Descriptor Learning Using Variational Auto-Encoders

• Main Author: Valavanis, Leonidas
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2020
• Subjects: Computer and Information Sciences; Data- och informationsvetenskap
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-288725

Image matching is the task of finding points in one image corresponding to the same points in the other image. Classical feature descriptors fail to match points when the images are under extreme viewpoint or seasonal changes. This thesis tackles the problem of image matching when two images are under severe changes. We propose two methods that use Variational Auto-Encoders (VAE). Variational Auto-Encoders are unsupervised generative models that encode images into a low dimensional space, called Latent Space. To improve the robustness of our methods, we train theVAE with a loss function that learns to discriminate between similar and dissimilar pairs of patches, called triplet loss. The first method, called FT-VAE, is a VAE trained with the triplet loss that creates more robust features towards rotation or seasonal changes. The second architecture, called VAE2Enc, is a novel architecture, trained in two steps, that encourages encoding rotation or seasonal changes in a small part of the latent space while creating more robust features. Empirical evaluation of FT-VAE demonstrates competitive results compared to the state of the art methods in patch pair classification.  === Bildmatchning är uppgiften att hitta punkter i en bild som motsvarar samma punkter i den andra bilden. Klassiska funktions beskrivare matchar inte punkter när bilderna är under extrema synvinklar eller säsongs förändringar. Denna avhandling tar upp problemet med bildmatchning när två bilder är under stora förändringar. Vi föreslår två metoder som använder Variation Auto-Encoders (VAE). Variations autokodare är generativa modeller som tränas med oövervakad inlärning, dessa modeller kodar bilder till ett lågt dimensionellt utrymme, kallat latent utrymme. För att förbättra robustheten i våra metoder tränar vi VAE med en förlustfunktion som lär sig att skilja mellan liknande och olika par av fläckar, kallad triplet loss. Den första metoden, kallad FT-VAE, är en VAE utbildad med trippelförlusten som skapar mer robusta funktioner mot rotation eller säsongs förändringar. Den andra arkitekturen, kallad VAE2Enc, är en ny arkitektur som tränas i två steg och som uppmuntrar kodning av rotation eller säsongs förändringar i en liten del av det latenta utrymmet samtidigt som det skapar mer robusta funktioner. Empirisk utvärdering av FT-VAE visar konkurrenskraftiga resultat jämfört med toppmoderna metoder inom klassificering av patchpar.