Inferência de contexto para dispositivos móveis utilizando aprendizagem por reforço

• Main Author: Guimarães, Leonardo Lira
• Other Authors: Oliveira, Horacio Antonio Braga Fernandes de
• Format: Others
• Language: Portuguese
• Published: Universidade Federal do Amazonas 2015
• Subjects: Inferência de Contexto; Aprendizagem por Reforço; Dispositivos Móveis; Context Reasoning; Reinforcement Learning; Mobile Devices; CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
• Online Access: http://tede.ufam.edu.br/handle/tede/4243

Submitted by Kamila Costa ([e-mail]) on 2015-06-18T19:47:28Z No. of bitstreams: 1 Dissertação-Leonardo Lira Guimarães.pdf: 5378144 bytes, checksum: 17c3316e73590efa02a215df4d7e88b6 (MD5) === Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central ([e-mail]) on 2015-07-06T15:14:50Z (GMT) No. of bitstreams: 1 Dissertação-Leonardo Lira Guimarães.pdf: 5378144 bytes, checksum: 17c3316e73590efa02a215df4d7e88b6 (MD5) === Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central ([e-mail]) on 2015-07-06T15:21:38Z (GMT) No. of bitstreams: 1 Dissertação-Leonardo Lira Guimarães.pdf: 5378144 bytes, checksum: 17c3316e73590efa02a215df4d7e88b6 (MD5) === Made available in DSpace on 2015-07-06T15:21:38Z (GMT). No. of bitstreams: 1 Dissertação-Leonardo Lira Guimarães.pdf: 5378144 bytes, checksum: 17c3316e73590efa02a215df4d7e88b6 (MD5) Previous issue date: 2015-05-25 === CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior === Advances in wireless communication and computer hardware technologies have boosted the popularity of mobile devices. Increasingly, these devices gain new features of hardware (i.e., sensors and other gadgets) and software (e.g., facial, voice and gestures recognition) so that the human-computer interaction can occur more naturally. These features allowed a greater awareness of the environment and the conditions under which the users are, enabling the development of applications ever more proactive and sensitive. A context aware system can modify its behavior according to the inferred context of the environment. However, erroneous interpretations of the collected data may induce inappropriate and unwanted actions in applications. Although there is variety of inference techniques in the literature (e.g., rules, ontologies, that uses supervised and unsupervised learning), generally, they do not consider whether the inferences were indeed suitable to the user contexts. Furthermore, most of these techniques uses static inference models (i.e., they are unable to adjust themselves to changes in the environment conditions), which represents a limitation of these techniques when applied to the field of mobile applications. This work proposes a new context reasoning technique for mobile applications – called CoRe-RL – which uses reinforcement learning in order that the produced inferences could be ever more suitable to the user’s contexts. In this technique, learning occurs in an incremental manner and as the user interacts with the system, allowing the inference to be adjusted by the rewards (positive reinforcements) and punishments (negative reinforcements) associated to the inferred contexts. As the contexts are continuously being learned, the proposed technique also allows a flexible context management to the applications, which enables new contexts (labels) to be registered and learned over time. The operation of the technique is divided into two stages – classification and adaptation. The CoRe-RL uses a modified version of the K nearest neighbors in the classification stage. The learning (adaptation) stage is based on examples, but also makes adjustments on the models (features ranking) which weigh the most relevant xv features of each context in the classification stage. In order to validate and evaluate the proposed technique, it was developed, as a case study of this work, an application that implements all of the functionality and capabilities of CoRe-RL. Through this application, practical experiments for evaluating the classification and adaptation were executed in two specific scenarios: there was a single context in the first scenario; and in the second, there were three. Through the practical experiments, it was observed that, in accordance to the cutting threshold used, it is possible to obtain good performances in the classification even with a small base and with a slightly adjusted ranking. Furthermore, it was demonstrated that the CoRe-RL improves its performance, converging to the optimal performance, in accordance to the occurrence of new interactions. === Os avanços das tecnologias de comunicação sem fio e de hardware impulsionaram a popularização do uso de dispositivos móveis. Cada vez mais, estes dispositivos ganham novos recursos de hardware (i.e., sensores e outros gadgets) e software (e.g., reconhecimento facial, de voz, gestos) a fim de que a interação humano-computador ocorra de forma mais natural. Esses recursos deram aos dispositivos móveis uma capacidade maior de percepção do ambiente e das condições nas quais os usuários se encontram, possibilitando o desenvolvimento de aplicações cada vez mais proativas e sensíveis ao contexto. Um sistema sensível ao contexto é capaz de modificar seu comportamento de acordo com os contextos inferidos do ambiente. Entretanto, interpretações errôneas dos dados coletados podem induzir ações inapropriadas e indesejadas nas aplicações. Embora exista uma variedade de técnicas de inferência na literatura (e.g., regras, ontologias, que utilizam aprendizagem supervisionada e não supervisionada), em geral, elas não consideram se as inferências foram de fato adequadas para os contextos do usuário. Além disso, a maioria dessas técnicas utiliza modelos estáticos de inferência (i.e., que não são capazes de se ajustar à mudanças nas condições do ambiente), o que representa uma limitação dessas técnicas quando aplicadas ao domínio das aplicações móveis. Neste trabalho, é proposta uma nova técnica de inferência de contexto para aplicações móveis – chamada de CoRe-RL – que utiliza aprendizagem por reforço a fim de que sejam produzidas inferências cada vez mais adequadas aos contextos do usuário. Nesta técnica, a aprendizagem ocorre de maneira incremental e conforme o usuário interage com o sistema, permitindo que a inferência seja ajustada por meio de recompensas (reforços positivos) e punições (reforços negativos) associadas aos contextos inferidos. Como os contextos estão continuamente sendo aprendidos, a técnica proposta também permite às aplicações um gerenciamento flexível de contextos, ou seja, é possível que novos contextos (rótulos) sejam cadastrados e aprendidos ao longo do tempo. O funcionamento da técnica é divido em duas etapas – classificação e adapxiii tação. O CoRe-RL utiliza o método dos K vizinhos mais próximos (modificado) na classificação. A aprendizagem (adaptação) é baseada em exemplos, mas também faz ajustes sobre os modelos (ranking de características) que ponderam as características mais relevantes de cada contexto, na etapa de classificação. Com o intuito de testar e avaliar o desempenho da técnica proposta, foi desenvolvido, como estudo de caso deste trabalho, um aplicativo que implementa todas as funcionalidades e recursos do CoRe-RL. Através deste aplicativo, foram realizados experimentos práticos de avaliação da classificação e adaptação, em dois cenários específicos: no primeiro cenário havia um único contexto; e no segundo haviam três. Por meio dos experimentos práticos, observou-se que, de acordo com o limiar de corte usado, é possível obter bons desempenhos na classificação mesmo com uma base pequena e com um ranking pouco ajustado. Além disso, demonstrou-se que o CoRe-RL melhora seu desempenho, convergindo para o desempenho ótimo, de acordo com a ocorrência das interações.