Combining Street View and Aerial Images to Create Photo-Realistic 3D City Models

• Main Author: Ivarsson, Caroline
• Format: Others
• Language: English
• Published: KTH, Geodesi och geoinformatik 2014
• Subjects: 3D city model; photo-realistic; texture; reconstruction
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-164258

This thesis evaluates two different approaches of using panoramic street view images for creating more photo-realistic 3D city models comparing to 3D city models based on only aerial images. The thesis work has been carried out at Blom Sweden AB with the use of their software and data. The main purpose of this thesis work has been to investigate if street view images can aid in creating more photo-realistic 3D city models on street level through an automatic or semi-automatic approach. Two different approaches have been investigated in this thesis work: using the street view images for texturing already generated 3D building models and using the street view images directly for reconstructing 3D city models. Data was collected over the study area of KTH, Stockholm, Sweden and the models were created with the two software TerraPhoto, used for texturing, and Smart3DCapture, used for reconstruction. The created models were analyzed and compared with the models based on only aerial images and the two approaches were compared to each other. Through using also street view images when creating city models the models are shown to become more photo-realistic representations on street level compared to the models based on only aerial images. The two tested approaches create very different 3D city models in terms of what is visible in the final model, a textured buildings model or a fully reconstructed environment, and also contains different amount of involved manual work. The textured models contain only the buildings and tend to look very flat because the street images are being projected onto flat building walls whereas the reconstructed models reconstructs everything being visible in the images, trees, cars etc., and create a full scale 3D city model. There are however limitations associated with using street view images when modeling cities since they only contain information on the ground level and no information about roofs or higher parts of the city environment and the street view images therefore need to be used in combination with aerial images. Using the street view images for reconstructing city models showed some complications in terms of wavy facades, bumpy roads and objects such as trees being inaccurately modeled. The texturing approach creates less visually pleasing models since objects such as trees and lighting poles are being projected onto the facades. The models based on aerial images look more visually appealing compared to when also using the street view images but lack the resolution be considered as photo-realistic on street level. This thesis work has shown that there is potential in using street view images when creating photo-realistic 3D city models on street level even though it is not yet a semi-automatic or automatic approach. === Denna rapport beskriver två olika tillvägagångssätt för att använda panorama gatubilder för att skapa mer fotorealistiska 3D stadsmodeller jämfört med att enbart använda sig av flygbilder. Arbetet har genomförts i samarbete med Blom Sweden AB som har tillhandahållit programvaror och data i form utav bilder. Det huvudsakliga syftet med studien var att se om gatubilderna kan användas för att skapa mer fotorealistiska 3D stadsmodeller på gatuplan genom ett automatiskt eller halv automatiskt tillvägagångssätt. Två olika tekniker undersöktes: använda gatubilderna för texturering av befintliga 3D byggnadsmodeller och att använda gatubilderna för att direkt rekonstruera 3D stadsmodeller. Data samlades in över studieområdet KTH, Stockholm, och anpassades innan 3D modellerna skapades i programvarorna TerraPhoto, användes för texturering, och Smart3DCapture, användes för rekonstruering. Modellerna blev sedan analyserade och jämförda med modeller baserade på enbart flygbilder och sedan var de två teknikerna jämförda med varandra. Genom att även använda gatubilder vid skapandet av 3D stadsmodeller har det visats att modellerna får ett mer fotorealistiskt utseende jämfört med modeller som är enbart baserade på flygbilder. De två tillvägagångssätten skapar olika typer av modeller i avseendet av vad som finns synligt i modellerna, en texturerad byggnadsmodell eller en helt rekonstruerad miljö, samt att olika mängder av manuellt arbete är involverade i de olika tillvägagångssätten. Den texturerade modellen innehåller enbart byggnader och tenderar till att se väldigt platt ut eftersom gatubilderna blir projicerade på byggnadsfasaderna medan den rekonstruerade modellen innehåller allt som finns synligt i bilderna, träd, bilar etc. och rekonstruerar en 3D stadsmodell som även innehåller den omkringliggande miljön. Det finns dock begränsningar i användandet av gatubilder och den främsta är att de är tagna på gatunivå vilket innebär att det inte finns några bilder över varken tak eller högre delar av stadsmiljön och gatubilderna behöver därför användas i kombination med flygbilder. Att använda gatubilder för rekonstruktion visade sig innebära problem i form av ojämna fasader, gropiga gator och att objekt som träd blir felaktigt modellerade. Den texturerade modellen skapar visuellt mindre tilltalande modeller som ser väldigt platta ut och med objekt projicerade på fasaderna. Stadsmodellerna som enbart är baserade på flygbilder ser visuellt bättre ut jämfört med när även gatubilder används men den låga upplösningen gör att modellerna inte kan ses som fotorealistiska på gatuplan. Det här arbetet har visat att det finns potential i att använda gatubilderna för att skapa fotorealistiska 3D stadsmodeller på gatuplan även om det ännu inte är ett halvautomatiskt eller automatiskt tillvägagångssätt.