A confidence framework for the assessment of optical flow performance

• Main Author: Márquez Valle, Patricia
• Other Authors: Gil Resina, Debora
• Format: Doctoral Thesis
• Language: English
• Published: Universitat Autònoma de Barcelona info
• Subjects: Tecnologies; 004 - Informàtica
• Online Access: http://hdl.handle.net/10803/305105; http://nbn-resolving.de/urn:isbn:9788449054617

L’Optical Flow (OF) és l’input d’una gran varietat de Sistemes de Suport a Decisions (DSS) com ara assistència a la conducció, guia UAV o diagnosis mèdic. En aquestes situacions, l’absència de ground truth ens obliga a avaluar la qualitat de l’OF calculat mitjançant quantitats calculades a partir de les seqüències o bé a partir del mateix OF. Aquestes quantitats es coneixen generalment com a Mesures de Confiança (CM). Encara que tinguem una mesura de confiança, necessitem alguna eina per tal d’avaluar la seva capacitat per descartar píxels de la imatge que tenen tendència a tindre error. Els mètodes actuals només aporten una avaluació descriptiva del rendiment de les CM, el problema és que aquests mètodes no són capaços de comparar equitativament les diferents CM i OF. Així doncs, necessitem definir una metodologia que avalu¨ı el rendiment de les tècniques d’OF. Aquesta tesi aporta la definició d’una metodologia que ens permet decidir quines parelles ”optical flow - mesura de confiança” (OF-CM) estan millor preparades per a definir una cota de l’error de l’OF donat un nivell de confiança per a un DSS. Per tal de definir aquesta metodologia, la tesis engloba els següents punts: • Marcadors qualificatius. Es presenten 3 gràfiques descriptives que avaluen de forma visual les capacitats de CM d’acotar l’error de l’OF. A més a més de les gràfiques descriptives, donada una gràfica representant la parella OF-CM, donem una qualificació automàtica que categoritza la gràfica donat el tipus de perfil. • Metodologia estadística. Es proporciona una metodologia comparativa que permet determinar quina és la millor parella OF-CM per a acotar l’error de l’OF, aquesta metodologia consta de dues parts. Primer s’avalua el valor predictiu de la CM mitjançant la gràfica descriptiva. Després, per a una mostra de gràfiques descriptives calculades sobre unes seqüències de training, s’obté una corba genèrica que es podrà fer servir per a seqüències que no tenen ground truth. En el segon pas, s’avalua la corba genèrica obtinguda i les seves capacitats per a reflectir el valor predictiu de la mesura de confiança mitjançant ANOVA’s. La metodologia presentada mostra el potencial en aplicació clínica per a DSS. En concret, s’ha analitzat l’impacte de diferents artefactes en la imatge com ara soroll o deteriorament en el resultat final d’OF per a imatges del cor. També s’ha aplicat per a millorar la navegació dintre l’arbre bronquial en una broncoscòpia. === Optical Flow (OF) is the input of a wide range of decision support systems such as car driver assistance, UAV guiding or medical diagnose. In these real situations, the absence of ground truth forces to assess OF quality using quantities computed from either sequences or the computed optical flow itself. These quantities are generally known as Confidence Measures, CM. Even if we have a proper confidence measure we still need a way to evaluate its ability to discard pixels with an OF prone to have a large error. Current approaches only provide a descriptive evaluation of the CM performance but such approaches are not capable to fairly compare different confidence measures and optical flow algorithms. Thus, it is of prime importance to define a framework and a general road map for the evaluation of optical flow performance. This thesis provides a framework able to decide which pairs ”optical flow - con- fidence measure” (OF-CM) are best suited for optical flow error bounding given a confidence level determined by a decision support system. To design this framework we cover the following points: • Descriptive scores. As a first step, we summarize and analyze the sources of inaccuracies in the output of optical flow algorithms. Second, we present several descriptive plots that visually assess CM capabilities for OF error bounding. In addition to the descriptive plots, given a plot representing OF-CMcapabilities to bound the error, we provide a numeric score that categorizes the plot according to its decreasing profile, that is, a score assessing CM performance. • Statistical framework. We provide a comparison framework that assesses the best suited OF-CM pair for error bounding that uses a two stage cascade process. First of all we assess the predictive value of the confidence measures by means of a descriptive plot. Then, for a sample of descriptive plots computed over training frames, we obtain a generic curve that will be used for sequences with no ground truth. As a second step, we evaluate the obtained general curve and its capabilities to really reflect the predictive value of a confidence measure using the variability across train frames by means of ANOVA. The presented framework has shown its potential in the application on clinical decision support systems. In particular, we have analyzed the impact of the different image artifacts such as noise and decay to the output of optical flow in a cardiac diagnose system and we have improved the navigation inside the bronchial tree on bronchoscopy.