Connecting Semantic 3D Models to the LOD Cloud for Mobile Applications : discovering the Surroundings with ARCAMA- 3D

• Main Author: Aydin, Betül
• Other Authors: Grenoble Alpes
• Language: en
• Published: 2015
• Subjects: Web sémantique; Réalité augmentée; Appareils mobiles; Modelisation spatio-temporelle; Découverte des environs; Semantic web; Augmented reality; Mobile devices; Spatio-temporal modeling; Surroundings discovery; 004
• Online Access: http://www.theses.fr/2015GREAM072/document

Découvrir les environs tout en marchant à l'aide d'un appareil mobile est désormais possible en associant les nouvelles technologies telles que la réalité augmentée (RA) et les services basés sur la localisation. De nombreuses applications mobiles ont été conçues à cet effet récemment. Les environs d'un utilisateur en mouvement sont présentés sur l'écran de son appareil mobile en utilisant les données de géo-localisation et elle peut interagir avec son environnement grâce à une couche d'information numérique superposée sur la scène capturée. Toutefois, la quantité d'informations géo-référencées produites et accessibles augmentant chaque jour, il y a un besoin croissant d'une approche générique qui vise à présenter l'information de manière structurée et adaptée aux différents domaines d'application et à la diversité des profils des utilisateurs.Notre travail se concentre sur la définition d'un modèle de données pour les objets 3D destiné à être intégré dans des applications de RA mobiles. Le modèle de données que nous proposons donne accès à l'information spatio-temporelle et thématique disponible sur les objets du monde réel. Alors que la réalité augmentée semble être bien adaptée pour la recherche d'informations à partir de la localisation, la plupart des approches basées sur la RA se concentre sur des scénarios spécifiques à un domaine d'application. D'autre part, le nuage des données ouvertes et liées (LOD Cloud en anglais) est un ensemble en constante extension de données structurées et publiées sur le Web. Il contient donc de grandes quantités d'informations à références spatio-temporelles qui peuvent être exploitées par les applications mobiles et présentées en utilisant la RA pour favoriser l'interaction. Dans notre recherche, ce nuage du Web des Données sert de source principale d'information au cours de l'expérience de découverte des environs à l'aide de la RA proposée à l'utilisateur.À cette fin, nous publions sur le Web les objets 3D correspondant aux objets du monde réel en utilisant notre modèle de données, ce qui permet de les lier avec le nuage du Web des Données. De fait, un objet du monde réel peut être représenté selon trois dimensions d'information : thématique (qui décrit les rôles ou fonctions de l'objet), spatiale (à travers sa géométrie 3D), et temporelle (par la période qui correspond à son existence). De plus, chaque changement dans la vie d'un objet du monde réel est représenté dans le modèle par des informations sémantiques. En conséquence, sur son appareil mobile, l'utilisateur visualise une vue de RA construite avec des modèles 3D légers et transparents. Il peut interagir avec ces objets de RA afin d'accéder aux informations relatives aux objets du monde réel correspondants qui se trouvent aux alentours et vers lesquels il pointe son téléphone mobile. Ces objets de RA permettent à l'utilisateur de construire mentalement la relation référentielle entre les objets virtuels et réels, tandis que le développeur de l'application mobile peut créer des expériences basées sur des thématiques différentes disponibles à travers sur le nuage du Web des Données (architecture, histoire, gastronomie, loisirs, etc.).En nous appuyant sur cette base de connaissances conceptualisée, nous proposons une architecture appelée ARCAMA-3D (Réalité Augmentée et 3D pour les applications mobiles sensibles au contexte), dont les modules permettent aux concepteurs et développeurs de créer leurs propres applications de RA pour différents domaines en étant en mesure d'étendre le modèle de données, de lier les modèles 3D avec d'autres ensembles de données ouvertes et liées disponibles dans le nuage, et d'alimenter ces applications de découverte à partir de sources de données spécifiques. Notre proposition est illustrée sur le cas d'étude que constitue le Monastère Royal de Brou, en France, à travers un scénario de cas d'utilisation pour un utilisateur visitant ce monument historique. === Discovering the surroundings while walking using a mobile device is now possible by coupling new technologies such as Augmented Reality (AR) and location-based services. Many mobile applications have been designed for that purpose recently. The surroundings of the user are presented on the screen of her mobile device using the location data and she can interact with her environment through a digital information layer superimposed on the captured scene. However, since the amount of geo-referenced information increases every day, there is a growing need for a generic approach that aims at presenting information in a structured manner and adapted to different application domains and users profiles.Our work focuses on the definition of a data model for 3D objects to be used in mobile AR applications. The data model we propose prioritizes access to available spatiotemporal and thematic information about real-world objects. While Augmented Reality appears to be well-suited for searching location-based information, most of the AR approaches focus on domain specific scenarios and we observe that there is no generic data model dedicated to information search and discovery that could be re-used in various AR applications. On the other hand, Linked Open Data (LOD) cloud is an ever-growing set of structured and interlinked datasets published on the Web. It contains vast amounts of spatiotemporal information that can be exploited by location-based mobile applications and presented using AR for fostering interaction. In our research, the LOD cloud serves as a basis for information retrieval during the AR experience of the user.For this purpose, we first publish 3D objects that correspond to real-world objects (buildings, monuments, etc.) on the Web by using our data model and interlink them with data sources on the LOD cloud. Then, using our data model, any real-world object can be represented by three informational dimensions: themes (describing the roles or functions of this object), space (through its 3D geometry), and time (the period linked to its existence). Each change in the life of a real-world object is represented in the model by semantic information following the LOD publishing principles. This allows a binding between the content of our data model and the LOD cloud. As a consequence, on her mobile device, the user visualizes an AR view built with light and transparent 3D models. She can interact with these AR objects in order to access to information related to the corresponding real-world objects of her surroundings she is pointing at. These AR objects allow the user to mentally construct the referential relationships between virtual and real-world objects, while the mobile application developer can create experiences based on different concepts found on the cloud (thematic and temporal concepts, etc.). This way, the LOD cloud, as a growing and updated structured source of semantic data, becomes the main source of information and facilitates knowledge discovery in AR applications.Using this conceptualized knowledge base, we propose our architecture, called ARCAMA-3D (Augmented Reality for Context Aware Mobile Applications with 3D), whose modules allow application designers and developers to create their own AR applications for different domains by being able to extend the data model, bind 3D models with other data sources on the LOD cloud, cover a selected part of LOD and feed their application only with these specific data sources. We develop our ideas working on the case study of the Royal Monastery of Brou, in France, and implement a use case scenario for a user visiting the monastery.