Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma

• Main Author: Azzolini, Alisson Gusatti
• Other Authors: UNIVERSIDADE ESTADUAL DE CAMPINAS
• Format: Others
• Language: Portuguese
• Published: [s.n.] 2011
• Subjects: Aprendizado de máquina; Sistemas inteligentes de controle; Robôs móveis; Sistemas de veículos auto-guiados; Machine learning; Intelligent control systems; Mobile robots; Automated guided vehicle systems
• Online Access: AZZOLINI, Alisson Gusatti. Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma. 2011. 152 p. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: <http://www.repositorio.unicamp.br/handle/REPOSIP/259079>. Acesso em: 18 ago. 2018.; http://repositorio.unicamp.br/jspui/handle/REPOSIP/259079

Orientador: Fernando José Von Zuben === Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação === Made available in DSpace on 2018-08-18T14:21:13Z (GMT). No. of bitstreams: 1 Azzolini_AlissonGusatti_M.pdf: 3567259 bytes, checksum: 633eb00350cdfa625d0e628fdf1f247e (MD5) Previous issue date: 2011 === Resumo: Há uma demanda crescente por soluções avançadas de navegação autônoma em robótica móvel. Apresenta-se então um sistema de síntese e aprendizagem de controladores com tal finalidade. Propõe-se um controlador probabilístico, consistindo no acoplamento de um processo de decisão de Markov parcialmente observável (POMDP) com um classificador logístico multinomial. A parametrização empregada para o POMDP inspira-se numa proposta anterior de controle de robô por meio de redes imunológicas artificiais, que mostrou apresentar flexibilidade e capacidade de representação de conhecimento na execução de tarefas desafiadoras de navegação autônoma. A aprendizagem dos parâmetros do classificador logístico é efetuada através de um algoritmo de aprendizagem por reforço baseado em gradiente de política, e os do POMDP, atráves de um algoritmo de maximização de verossimilhança. Três experimentos computacionais são efetuados, dois deles utilizando somente o classificador logístico, e o terceiro utilizando o acoplamento entre POMDP e classificador logístico. Os resultados permitem a constatação de pontos fortes e algumas deficiências das duas abordagens. O trabalho aponta também para uma potencial reinterpretação do controlador baseado em rede imunológica em termos de um modelo probabilístico similar ao proposto === Abstract: There is an increasing demand for advanced solutions in autonomous navigation of mobile robots. A system is presented for the synthesis and learning of controllers for such purpose. A probabilistic controller is proposed, consisting of the coupling of a partially observable Markov decision process (POMDP) with a multinomial logistic classifier. The parametrization used for the POMDP draws on an earlier proposal of robot control based on artificial immune networks, that has shown to present flexibility and knowledge representation capability in the execution of challenging autonomous navigation tasks. Learning the logistic classifier parameters is accomplished through a reinforcement learning algorithm based on policy gradient, while the POMDP parameters are learned by a likelihood maximization algorithm. Three computational experiments are performed, two of them using only the logistic classifier, and the third one using the coupling of a POMDP with a logistic classifier. The results show some strong points and drawbacks of both approaches. The work also points torwards a potential reinterpretation of the immune network based controller in terms of a probabilistic model similar to the one proposed === Mestrado === Engenharia de Computação === Mestre em Engenharia Elétrica