Content enrichment for mobile context aware imaging applications with a social aspect

• Main Author: Ng, Victor
• Other Authors: James J Clark (Internal/Supervisor)
• Format: Others
• Language: en
• Published: McGill University 2014
• Subjects: Engineering - General
• Online Access: http://digitool.Library.McGill.CA:80/R/?func=dbin-jump-full&object_id=121246

With technological advancements in data collection techniques allowing increasing amounts of contextual metadata to be appended to everyday image files, it has become a daunting task to effectively display such supplemental data alongside original image content without overloading users with information. I propose a unique approach to actively display geo-tagged image content that embeds the images in a navigable 3D environment in a way that makes explicit the geographical context and spatiotemporal relationships between the images. This approach enhances the viewer's comprehension of the image's context and content thus supporting my hypothesis that context extracted from metadata can enhance image content absorption rather than hinder it. The 3D environment is built by mapping Google Street View images onto a spherical tessellation within which user image content is overlaid. The proposed geographical browser and social-networking system is implemented on an iPad, using the iPad's built-in compass, gyroscopes, and accelerometers to provide real-time gesture control and spatial orientation. User studies were performed on the proposed system as well as on a standard social-networking application for comparison purposes. The results were used to evaluate the relative performance of the system in enabling users to absorb and comprehend image information. Test subject were found to consistently answer questions more accurately on images viewed on the proposed system as compared to the images viewed on a typical social-networking application. === Les avancées technologiques dans les techniques de collection de données augmentant la quantité de méta données contextuelles à associer aux images de tous les jours, afficher ces données supplémentaires de manière effective avec l'image originale est devenu une tâche ardue. Je propose une approche unique permettant d'afficher de manière active du contenu géo taggué qui renferme des images dans un environnement 3D navigable d'une manière qui rend explicite le contexte géographique et la relation spatiotemporelle entre les images. Cette approche augmente la compréhension du contexte et du contenu de l'image par l'observateur, supportant ainsi ma thèse selon laquelle le contexte extrait des métadonnées peut améliorer l'absorption du contenu de l'image plutôt que de le cacher. L'environnement 3D est construit en cartographiant des images de Google Street View dans une tessellation sphérique sur laquelle le contenu de l'image est superposé. Le navigateur géographique et outil de réseau social proposé est implémenté sur un iPad, utilisant la boussole intégrée à l'iPad, ses gyroscopes et accéléromètres pour fournir en temps-réel des contrôles par gestes et orientation spatiale. Des études utilisateurs ont été effectuées sur le système proposé, de même que sur une application de réseau social standard à fin de comparaisons. Les résultats ont été utilisés afin d'évaluer la performance relative du système à permettre aux utilisateurs d'absorber et comprendre l'information de l'image. Les sujets de test ont donné de manière consistante des réponses plus précise aux questions répondues sur des images observées sur le nouveau système comparé aux images observées sur une application typique de réseau social.