Real-time tracking of instruments : Visualizing endoscope position on placental vasculature image

• Main Author: Huusmann, Johan
• Format: Others
• Language: English
• Published: KTH, Skolan för datavetenskap och kommunikation (CSC) 2017
• Subjects: Twin to twin transfusion syndrome; real-time tracking of fetoscope; Media and Communication Technology; Medieteknik
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-209940

Twin-to-twin transfusion syndrome (TTTS) is a complication of blood flow among fetuses sharing a single placenta. TTTS is associated with high mortality rates; however there is treatment available which significantly increases the rate of survival. The treatment procedure is although far from perfect. Limited by a narrow field of view, it is a challenging task for the surgeon to mentally visualize the vascular structures of the placenta while trying to navigate across the areas of interest. Previous research within both medical imaging and tracking technologies has been conducted but there is no perfect solution on how to solve these issues. This paper is part of a two-part project attempting to provide an application which can make the surgical procedure easier. The two parts are image stitching and real-time tracking, this paper focusing on the latter. This is done by choosing an appropriate tracking method which can provide location and orientation of a small sensor. The 3D data gathered from the sensor is processed by various transformations so that the bounding box of the camera movement can be mapped directly onto the image generated by the stitching process. The same transformations are applied to data collected from the sensor at a rate of 60 Hz, resulting in a responsive system. By comparing the x-value and y-value of a calculated point to the bounding box, this point can be converted to its corresponding pixel in the image. The system is responsive and by visually comparing the digital position in the image to its corresponding real world position it seems accurate enough, even though a few pixels misalignment will occur. === Tvillingstransfusionssyndrom (TTTS) är en komplikation av blodflöde som kan uppstå hos foster som delar placenta. TTTS associeras medhöga dödstal, emellertid finns det behandlingar som signifikant ökar chanserna för fostrens överlevnad. Behandlingsprocessen är docklångt ifrån perfekt. Begränsad av ett smalt synfält är det en utmanande uppgift för kirurgen att mentalt föreställa sig placentansvaskulärsystem samtidigt som denne försöker att navigera mellan alla intresseområden. Forskning inom både bildbehandling ochspårningsteknologier är inget främmande men det finns ännu ingen självklar lösning på dessa problem. Den här rapporten är en del av etttvåstegsprojekt vars mål är att framställa en applikation som kan underlätta behandlingen. De två delarna är image stitching ochrealtidsspårning, där den här rapporten fokuserar på det sistnämnda. Detta görs genom att välja en lämplig spårningsmetod som kan mätabåde position samt orientering av en sensor. 3D-datan från sensorn behandlas av olika matematiska transformationer så att denomskrivande rektangeln av kamerans rörelser kan placeras på bilden erhållen från stitchingprocessen. På samma sätt behandlas deninformation som hämtas från sensorn i realtid med en frekvens på 60 Hz, vilket resulterar i ett snabbreagerande system. Genom att jämförax-värde och y-värde från en beräknad punkt med den omskrivande rektangeln, kan den här punkten översättas till sin motsvarande pixel ibilden. Systemet reagerar snabbt på indata och genom att visuellt jämföra den digitala positionen i bilden mot den motsvarande positionen iden riktiga världen ger systemet ett tillfredställande resultat, även om punkten kommer att ha ett par pixlars felmarginal.