Multi View Image Stitching of Planar Surfaces on Mobile Devices : Large Surface Analog Notes Scanning

• Main Author: Twetman, Theodor
• Format: Others
• Language: English
• Published: KTH, Robotik, perception och lärande, RPL 2015
• Subjects: Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-196554

Digital notes have numerous advantages compared to analog notes, yet the will to use pen and paper remains. Thus, a need to digitize handwritten notes arises. To make it as simple as possible a minimum amount of user interaction should be required. The aim of this project is to present a process of automated image capturing, followed by a process of automatic image stitching, given photos taken by a camera which is moved parallel to a whiteboard or similar planar scenery. The need stems from being able to obtain higher image quality than possible using only one overall picture. The processes is to be executed on mobile devices, with comparatively low computational capacity, within a reasonable time interval. A review and theoretical analysis is conducted of existing methods for all parts of the processes: automated image capturing, registration, reprojection and blending. The methods considered appropriate for further use are evaluated in the form of a series of tests developed for the purpose with focus on the balance between robustness, which ultimately means visual accuracy in the final image, and computation intensity. The techniques evaluated are based on feature points which are used to calculate a transformation homography. Also, two new techniques are presented and evaluated. One for finding features in the form of corners by approximating shapes into polygons. The other method is used to speed up the image matching process from a camera feed towards a given image by reducing the search space by using the former transient image from the camera feed. The results show that it is feasible to assemble correct image compositions despite that the intended sceneries often contain few features; a bigger problem is that they often are poorly distributed. The difference in quality between the corresponding evaluated techniques is small in comparison to the speed differences. With a combination of fast algorithms, including the proposed speed up, it is possible to achieve a holistic process working viable on standard mobile devices. To optimize the stitching process an alternative method is proposed utilising dynamic criteria for when a new image should be stored during the automated capturing. === Digitala anteckningar har flera fördelar gentemot analoga, men viljan att använda penna och papper kvarstår. Därmed uppkommer ett behov av att digitalisera handskrivna anteckningar. För att det ska vara så enkelt som möjligt är målet minsta möjliga antal interaktioner med användaren. Syftet med projektet är att presentera en process för automatiserad bildtagning för bilder tagna av en kamera som flyttas parallellt med en whiteboardtavla, eller liknande scenbild, följt av en process för automatisk sammanfogning av dessa bilder. Problemet ligger i behovet av att få högre kvalitet i den slutgiltiga bilden än vad som är möjligt med enbart en övergripande bild. Processerna ska exekveras på mobila enheter, med jämförelsevis låg beräkningskapacitet, inom ett rimligt tidsintervall. En genomgång och teoretisk analys utförs av befintliga metoder för alla delar av processen: automatiserad bildtagning, registrering, omprojecering samt färgutjämning. De metoder som bedöms ändamålsenliga utvärderas vidare i form av en serie tester utvecklade för ändamålet där fokus ligger på avvägningen mellan robusthet, vilket i förlängningen innebär visuell korrekthet i den slutgiltiga bilden, samt beräkningsintensitet. Teknikerna som utvärderas baseras på intressepunkter vilka används för att beräkna en omvandlingshomografi. Även två nya tekniker presenteras och utvärderas. Den ena för att hitta intressepunkter i form av hörn genom att approximera former till polygoner. Den andra metoden används för att snabba upp matchningsprocessen från ett kameraflöde mot en given bild genom att minska sökrymden med hjälp av föregående bild från kameraflödet. Resultaten visar att det är möjligt att foga samman korrekta bildkompositioner trots att de avsedda scenbilderna ofta innehåller få intressepunkter; ett större problem är att de ofta har dålig spridning. Skillnaden i bildkvalitet mellan de utvärderade teknikerna är små i jämförelse med hastighetsskillnaderna. Med en kombination av snabba algoritmer, inklusive den föreslagna uppsnabbningen, är det möjligt att åstadkomma en helhetsprocess som fungerar dugligt på vanliga mobila enheter. För att optimera bildsammanfogningen föreslås en alternativ metod med dynamiska kriterier för när en ny bild ska sparas under den automatiserade bildtagningen.