Digitizing notes using a moving smartphone : Evaluating Oriented FAST and Rotated BRIEF (ORB)

• Main Author: Wieslander, Johan
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2021
• Subjects: Augmented reality; Computer vision; Mobile applications; Object detection; Feature extraction; Human computer interaction; Förstärkt verklighet; Datorseende; Mobila applikationer; Objectdetektion; Människa-datorinteraktion; Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-302554

This thesis investigates the problem of tracking objects for an Augmented Reality (AR) setting. More specifically, the issue of tracking Post-It® notes to be used in a Mobile Augmented Reality (MAR) application using the Oriented FAST and Rotated BRIEF (ORB) keypoint extractor and descriptor, is investigated. This problem explores the relatively new and unexplored territory of tracking specific objects in real-time on mobile devices. Since MAR is becoming more prevalent, this is a field that is likely to be explored in more depth in the future. A solution was implemented in an existing note scanning application. Test sequences, with accompanying ground truth, were created for the applicable scenarios. The test sequences were used to reliably verify and evaluate the implementation with regard to precision, recall, accuracy, and speed. The ground truth was generated in a Mixed-Initiative Computing (MIC) application. The results show that tracking using only ORB is not viable if high precision, recall, or accuracy is needed. While tracking via ORB may not be viable as a standalone solution, the thesis describes methods for using it in a MIC setting, which may be viable.  === Denna masteruppsats undersöker spårning av objekt för användning i en AR- miljö. Mer specifikt så undersöks spårning av Post-It®-notiser för användning i en MAR applikation med hjälp av ORB. Det här problemet utforskar det relativt nya och outforksade området rörande spårning av specifika objekt i realtid på mobila enheter. Eftersom MAR blir alltmer vanligt förekommande, så kommer det här forskningsområdet troligtvis att utforskas mer ingående i framtiden. En lösning implementeras utöver en existerande applikation for att skanna notiser. Testsekvenser, med ackompanjerande faktisk data skapades för de relevanta scenarierna. Dessa testsekvenser användes för att kunna verifiera och utvärdera implementationen med avseende på precision, återkall, träffsäkerhet och snabbhet. All faktisk data genererades i en MIC-applikation. Resultaten visar att spårning med enbart ORB är inte genomförbart om höga krav på precision, återkall, träffsäkerhet eller snabbhet behövs. Medan spårning via ORB måhända inte är genomförbart i nuläget som en självstående lösning, så har den här mastersuppsatsen beskrivit metoder för att använda ORB i en MIC-applikation. Något som faktiskt kan vara genomförbart.