Proposta de arquitetura em Hardware para FPGA da t?cnica Qlearning de aprendizagem por refor?o

• Main Author: Silva, Lucileide Medeiros Dantas da
• Other Authors: 02099790469
• Language: Portuguese
• Published: PROGRAMA DE P?S-GRADUA??O EM ENGENHARIA EL?TRICA E DE COMPUTA??O 2017
• Subjects: CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA E DE COMPUTA??O; FPGA; Q-learning; Aprendizagem por refor?o; Hardware
• Online Access: https://repositorio.ufrn.br/jspui/handle/123456789/22395

Submitted by Automa??o e Estat?stica ([e-mail]) on 2017-03-20T19:50:20Z No. of bitstreams: 1 LucileideMedeirosDantasDaSilva_DISSERT.pdf: 995627 bytes, checksum: c5a0cf7ba1df8a88275e1f7c185e1eac (MD5) === Approved for entry into archive by Arlan Eloi Leite Silva ([e-mail]) on 2017-03-22T19:38:28Z (GMT) No. of bitstreams: 1 LucileideMedeirosDantasDaSilva_DISSERT.pdf: 995627 bytes, checksum: c5a0cf7ba1df8a88275e1f7c185e1eac (MD5) === Made available in DSpace on 2017-03-22T19:38:28Z (GMT). No. of bitstreams: 1 LucileideMedeirosDantasDaSilva_DISSERT.pdf: 995627 bytes, checksum: c5a0cf7ba1df8a88275e1f7c185e1eac (MD5) Previous issue date: 2016-11-18 === O Q-learning ? uma t?cnica de aprendizagem por refor?o off-policy que tem como principal vantagem a possibilidade de obter uma pol?tica ?tima interagindo com o ambiente sem que o modelo deste ambiente necessite ser conhecido. Este trabalho descreve uma proposta de arquitetura paralela em ponto fixo da t?cnica usando hardware reconfigur?vel do FPGA (Field Programmable Gates Arrays). O objetivo de desenvolver essa t?cnica em hardware ? otimizar o tempo de processamento do sistema. S?o apresentados resultados de converg?ncia do algoritmo, ?rea de ocupa??o e frequ?ncia de amostragem. Tamb?m s?o apresentados detalhes de implementa??o da arquitetura. O projeto foi desenvolvido utilizando a plataforma de desenvolvimento System Generator da Xilinx sendo projetado para o FPGA Virtex 6 xc6vcx240t-1ff1156. === Q-learning is a off-policy reinforcement learning technique which has as main advantage the possibility of obtaining an optimal policy interacting with an unknown model environment. This work proposes a parallel fixed-point Q-learning algorithm architecture, implemented in FPGA. Fundamental to this approach is optimize system processing time. Convergence results are presented. The processing time and occupied area were analyzed for diferentes scenarios and various fixed point formats. Architecture implementation details were featured. The entire project was developed using the System Generator platform (Xilinx), with a Virtex-6 xc6vcx240t-1ff1156 as the target FPGA.