Evaluation of Camera Resolution in Optical Flow Estimation Using Event-Based Cameras

• Main Authors: Hellberg, Simon, Hollidt, Dominik
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2020
• Subjects: Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-280321

Developments in event-based camera technology and their recent increase in pixel count raised the question of whether resolution helps the accuracy and performance of algorithms. This thesis studies the impact of resolution on optical flow estimation for event-based cameras. For this purpose, we created a data set containing a mix of synthetic scenes and real camera recordings with ground truth available. For the modeling of low-resolution data, we designed three different downsampling algorithms. The camera used for the real scene recordings was the Prophesee (CSD3SVCD), which was determined to be the best out of the current state-of-the-art cameras in a prestudy. The camera investigation evaluated the camera’s performance in terms of temporal and spatial accuracy. In order to answer the question, whether resolution benefits the accuracy of optical flow estimation, we ran a total of 13 algorithms variations from four algorithm families (Lucas-Kanade [1, 2], Local-Planes fitting [2, 3], direction-selective filter [2, 4] and patch match [5]) on the data set. We then analysed their performance in terms of processing time, output density, angular error, endpoint error and relative endpoint error. The results show that no global correlation between resolution and accuracy across all algorithms can be identified. However, methods show individually different behaviour on different data. The best performing methods, the patch match algorithms, seemed to prefer the less dense downsampled data. The evaluation also showed that rather than resolution, the specific characteristics of the data seemed to have a larger impact on accuracy. Thus denoised data might increase accuracy more than a change of resolution. === De senaste utvecklingarna inom händelsebaserad kamerateknologi och deras nyligen utökade mängd pixlar ställer frågan om denna högre upplösning påverkar precision samt prestanda för algoritmer. Den här rapporten studerar påverkan av upplösning på optiskt flödes-algoritmer för händelsebaserade kameror. För att göra detta skapas en dataupsättning av riktiga och syntetiska scener, där det sanna optiska flödet är känt. För att modellera den lågupplösta datan används tre olika nedskalningsalgoritmer. Kameran som används för att spela in de riktiga scenerna var Prophesee (CSD3SVCD), som vi avgjorde var den bästa av de nuvarande existerande kamerorna i en förstudie. I förstudien bedömde vi kamerornas precision i tid samt rymd. För att besvara vår huvudsakliga fråga testades totalt 13 algoritmvariationer från fyra algoritmfamiljer (Lucas-Kanade [1, 2], Local Planes fitting [3, 2], direction-selective filter [4, 2] och patch match [5]). Vi analyserar deras prestanda i beräkningstid, densitet av vektorer, ändpunktsfel, relativt ändpunktsfel och vinkelfel. Resultaten visar ingen global trend över alla algoritmer för precision av optiskt flöde baserat på upplösning. Individuella trender kan dock skönjas inom algoritmfamiljer. Den bäst presterande algoritmfamiljen, patch match, verkade föredra de mindre täta typerna av nedskalning. Utvärderingen visar också att över upplösning så verkar datans specifika karaktäristik ha större påverkan på precision. Därför kan brusreducerad data ha mer påverkan på en algoritms precision än en ändrad upplösning.