Six DOF tracking system based on smartphones internal sensors for standalone mobile VR

• Main Author: Duque, Fredd
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2019
• Subjects: Virtual reality; Positional tracking; Simultaneous location and mapping; Head-mounted-display; Computer and Information Sciences; Data- och informationsvetenskap
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-260345

Nowadays mid-range smartphones have enough computational power to run simultaneous location and mapping (SLAM) algorithms that, together with their onboard inertial sensors makes them capable of position and rotation tracking. Based on this, Google and Apple have released their own respective software development kits (SDKs) that allow smartphones to run augmented reality applications using six degrees of freedom tracking. However, this same approach could be implemented to virtual reality head-mounted-display (HMD) based on smartphones, but current virtual reality SDKs only offer rotational tracking. In this study the positional tracking technology used for augmented reality mobile applications has been implemented in a virtual reality head-mounted-display only powered by a smartphone by combining virtual and augmented reality SDKs. Compatibility issues between SDKs have been faced to develop a working prototype. An objective and controlled measurement study has been conducted that included 34.200 measurements, to test the accuracy, precision and jitter tracking of the protype against the Oculus Rift, a dedicated virtual reality system. Results show that the developed prototype offers a decent tracking precision and accuracy in optimal conditions. It was concluded to be highly dependent on the camera view. Although, jitter presented the opposite behavior, being dependent to the device used but independent on the camera view. In its optimal conditions, user studies demonstrated that the prototype was capable of offering the same tracking performance feeling as the Oculus Rift although jitter was quite noticeable, and a common user complain. Further studies are proposed that can improve the tracking performance of the prototype by filtering jitter and using two or more cameras with a different angular to correlate feature points and obtain a wider view of the environment were the prototype is used. === Idag har mellanklass-smartphones tillräckligt med beräkningskapacitet för att simultant köra lokalisering och kartläggnings(SLAM) algoritmer tillsammans med deras tröghetssensorer ombord, vilket gör att de kan positionera och rotera spårning. Baserat på det här så har Google och Apple släppt sina egna respektive programvaror (SDK) som gör att smartphones kan köra ökade realitetsapplikationer med sex graders frihetsspårning. Emellertid kan samma tillvägagångssätt implementeras till virtuell verklighet på en huvudmonterad display (HMD) baserat på smartphones, men nuvarande VR SDK erbjuder endast rotationsspårning. I denna studie så har positionell spårningsteknik som används för AR i mobila applikationer implementerats i ett VRheadset som endast drivs av en smartphone genom att kombinera VR och ARSDKs. Kompatibilitetsproblem mellan SDKs har resulterat i att utveckla en fungerande prototyp. En objektiv och kontrollerad mätstudie har genomförts som inkluderade 34.200 mätningar, för att testa noggrannheten, precision och jitterspårning av protyp mot Oculus Rift, ett dedikerat virtuellt verklighetssystem. Resultat visar att den utvecklade prototypen ger en anständig spårningsprecision och noggrannhet i optimala betingelser. Denna slutsats var mycket beroende av kameravy. Även om jitter presenterade det motsatta beteendet, beroende på vilken enhet som används men oberoende av kamerans vy. I sina optimala förhållanden visade användarstudier att prototypen kunde erbjuda samma spårningsförmåga som Oculus Rift, även om jitter var ganska märkbar, och en vanlig användares klagomål. Ytterligare studier föreslås som kan förbättra prototypens spårningsprestanda genom att filtrera jitter och använder två eller flera kameror med en annan vinkling till att korrelera funktionspunkter och få en bredare bild av miljön var prototypen används.