Image fusion algorithm for a multi-aperture camera

• Main Author: Mustaniemi, J. (Janne)
• Format: Dissertation
• Language: English
• Published: University of Oulu 2016
• Subjects: Information Engineering
• Online Access: http://urn.fi/URN:NBN:fi:oulu-201609172801; http://nbn-resolving.de/urn:nbn:fi:oulu-201609172801

Portable devices such as mobile phones have become thinner and smaller over the years. This development sets new challenges for the camera industry. Consumers are looking for high quality cameras with versatile features. Modern manufacturing technology and powerful signal processors make it possible to produce a small-sized multi-aperture camera with good image quality. Such a camera is worthy alternative to traditional Bayer matrix camera. In this master’s thesis, an image processing algorithm is designed and implemented for a four-aperture camera. The camera consists of four separate camera units, each having dedicated optics and color filter. Each camera unit has a slightly different viewpoint, which causes parallax error between the captured images. This error has to be corrected before the individual images are combined into a single RGB image. In practice, corresponding pixels are searched from each image using graph cuts method and mutual information similarity measure. Implemented algorithm also utilizes a trifocal tensor, which allows images to be processed together, instead of matching each image pair independently. Matching of corresponding pixels produces a disparity map (depth map) that is used to modify the input images. Moreover, the depth map was used for synthetic refocusing, which aims to change the image focus after capturing. The algorithm was evaluated by visually inspecting the quality of the output images. Images were also compared against the reference images captured by the same test camera system. The results show that the overall quality of the fused images is near the reference images. Closer inspection reveals small color errors, typically found near the object borders. Most of the errors are caused by the fact that some of the pixels are not visible in all images. Promising results were obtained when depth map was used for post-capture refocusing. Since the quality of the effect highly depends on the depth map, the above-mentioned visibility problem causes small errors to the refocused image. Future improvements, such as occlusion handling and sub-pixel accuracy would significantly increase the quality of fused and refocused images. === Kannettavat laitteet kuten matkapuhelimet ovat tulleet vuosi vuodelta pienemmiksi ja ohuemmiksi. Kyseinen kehitys on tuonut myös lisää haasteita kamerateollisuudelle. Kuluttajat odottavat kameralta hyvää kuvanlaatua ja monipuolisia kuvausominaisuuksia. Nykyaikaiset valmistustekniikat ja tehokkaat signaaliprosessorit mahdollistavat pienikokoisen sekä hyvälaatuisen moniaukkokameran toteuttamisen. Kamera on varteenotettava vaihtoehto tavanomaiselle Bayer-matriisikameralle. Tässä diplomityössä on tarkoitus suunnitella ja toteuttaa kuvankäsittelyalgoritmi neliaukkokameraan. Kamera koostuu neljästä erillisestä kamerayksiköstä, joilla kullakin on oma optiikkansa sekä värisuodatin. Koska jokaisella kamerayksiköllä on hieman erilainen kuvakulma, aiheutuu kuvien välille parallaksivirhettä. Tämä virhe tulee korjata, ennen kuin yksittäiset kuvat yhdistetään yhdeksi värikuvaksi. Käytännössä tämä tarkoittaa sitä, että jokaisesta kuvasta etsitään toisiaan vastaavat kuvapisteet. Apuna tähän käytetään graph cuts -menetelmää sekä keskinäisinformaatiota. Algoritmi käyttää hyväkseen myös trifokaalista tensoria, joka mahdollistaa useamman kuvan sovittamisen yhtäaikaisesti sen sijaan, että jokainen kuvapari sovitettaisiin erikseen. Vastinpisteiden sovittaminen tuottaa dispariteettikartan (syvyyskartta), minkä perusteella syötekuvia muokataan. Syvyyskarttaa käytetään myös kuvan synteettiseen uudelleen tarkennukseen, minkä tarkoituksena on muuttaa kuvan tarkennusta kuvan ottamisen jälkeen. Algoritmin suorituskykyä arvioitiin tarkastelemalla tuloskuvien visuaalista laatua. Kuvia verrattiin myös referenssikuviin, jotka otettiin samalla testikamerajärjestelmällä. Tulokset osoittavat, että fuusioitujen kuvien laatu on lähellä referenssikuvien laatua. Lähempi tarkastelu paljastaa pieniä värivirheitä, jotka sijaitsevat tyypillisesti kuvassa näkyvien kohteiden reunoilla. Suurin osa virheistä aiheutuu siitä, että kaikki kuvapisteet eivät ole näkyvillä jokaisessa kuvassa. Lupaavia tuloksia saatiin myös kun syvyyskarttaa käytettiin synteettiseen uudelleen tarkennukseen. Koska efektin laatu riippuu voimakkaasti syvyyskartasta, edellä mainittu katvealueongelma aiheuttaa pieniä virheitä tuloskuvaan. Lukuisat jatkokehitysmahdollisuudet, kuten katvealueiden käsittely ja alipikselitarkkuus parantaisivat huomattavasti sekä fuusioitujen että uudelleen tarkennettujen kuvien laatua.