[en] HIERARCHICAL NEURAL FUZZY MODELS BASED ON REINFORCEMENT LEARNING OF INTELLIGENT AGENTS
[pt] Os benefícios trazidos pela aplicação de Sistemas Multi-Agentes (SMA) são diversos. Através da computação paralela, agentes podem trabalhar em conjunto para explorar melhor a estrutura descentralizada de uma determinada tarefa e acelerar sua conclusão. Além disso, agentes também podem trocar ex...
| Main Author: | |
|---|---|
| Other Authors: | |
| Language: | pt |
| Published: |
MAXWELL
2013
|
| Subjects: | |
| Online Access: | https://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=21194@1 https://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=21194@2 http://doi.org/10.17771/PUCRio.acad.21194 |
| Summary: | [pt] Os benefícios trazidos pela aplicação de Sistemas Multi-Agentes (SMA) são
diversos. Através da computação paralela, agentes podem trabalhar em conjunto para
explorar melhor a estrutura descentralizada de uma determinada tarefa e acelerar sua
conclusão. Além disso, agentes também podem trocar experiências se comunicando,
fornecer alto grau de escalabilidade, através da inclusão de novos agentes quando
necessário, e ainda fazer com que agentes assumam as atividades de outros agentes em
casos de falha. Vários modelos de agentes desenvolvidos até o momento usam o
aprendizado por reforço como algoritmo base no processo de aprendizado. Quando o
agente está inserido em ambientes pequenos ou discretos, os resultados obtidos com o uso
de métodos como Q-learning são satisfatórios. No entanto, quando o ambiente é grande
ou contínuo, o uso de métodos de aprendizado por reforço torna-se inviável, devido à
grande dimensão do espaço de estados. Nos SMA, este problema é consideravelmente
maior, já que a memória necessária passa a crescer exponencialmente com a quantidade
de agentes envolvidos na aplicação. Esta tese teve como finalidade o desenvolvimento de
um novo modelo de aprendizado autônomo para Sistemas Multi-Agentes (SMA) visando
superar estas limitações. O trabalho foi realizado em três etapas principais: levantamento
bibliográfico, seleção e implementação do modelo proposto, e desenvolvimento de estudo
de casos. O levantamento bibliográfico contemplou o estudo de agentes inteligentes e
Sistemas Multi-Agentes, buscando identificar as propriedades e limitações dos algoritmos
já desenvolvidos, as aplicações existentes, e as características desejadas em um SMA. A
seleção e utilização de um modelo neuro-fuzzy hierárquico da família RL-NFH foi
motivada especialmente pela importância de se estender a autonomia e aprendizado de
agentes através do quesito inteligência, e pela sua capacidade de superar limitações
presentes em algoritmos de aprendizado por reforço tradicionais. Inicialmente, ao modelo
anterior foram adicionados os conceitos de satisfatoriedade e não-dominação, com a
finalidade de acelerar o processo de aprendizado do algoritmo. Em seguida, o novo
modelo multi-agente foi criado, viabilizando o desenvolvimento de aplicações de
natureza tanto cooperativa como competitiva, com múltiplos agentes. Os estudos de caso
contemplaram situações distintas de cooperação e competição entre agentes autônomos.
Foram implementadas três aplicações distintas: uma aplicação benckmark do jogo da
presa-predador (Pursuit-Game); um leilão energia elétrica, em que os fornecedores de
energia fazem ofertas para atender à previsão de demanda em um período de tempo
determinado; e uma aplicação na área de gerenciamento de projetos, onde agentes
inteligentes são criados com o objetivo de fornecer estimativas de duração de atividades e
automatizar alguns processos realizados pelo Gerente de Projetos. Em todos os Estudos
de Caso, os resultados foram comparados com técnicas convencionais e/ou com o
desempenho de outros Sistemas Multi-Agente. Os resultados alcançados pelo novo
modelo se mostraram promissores. Os testes evidenciaram que o modelo teve a
capacidade de coordenar as ações entre agentes totalmente autônomos em diferentes
situações e ambientes. Além disso, o novo modelo mostrou-se genérico e flexível,
podendo ser usado no futuro em outras aplicações envolvendo múltiplos agentes. === [en] There are several benefits provided by Multi-Agent Systems (MAS). Through
parallel computing, agents can work together to better explore the decentralized structure
of a given task and speed up its completion. In addition, agents can also exchange
knowledge through communication, provide scalability by adding new agents when
appropriate, and replace troubled agents in cases of failures. A great number of existing
agent models is based on reinforcement learning algorithms for learning. When the agent
works in small or discrete environments, the results obtained with methods such as Qlearning
are satisfactory. However, when the environment is large or continuous
reinforcement learning methods become unfeasible due to the large state space. In MAS,
this problem is considerably greater, since the required memory begins to grow
exponentially with the number of agents involved in the application. The main objective
of this thesis is to develop a new model of autonomous learning for multi-agents in order
to overcome these limitations. The study consisted of three main stages: literature review,
new model development and implementation, and case studies. Literature review
included the study of intelligent agents and Multi-Agent Systems, seeking to identify the
properties and limitations of the algorithms already developed, existing applications, and
desired features in the new MAS. The choice of a neuro-fuzzy hierarchical model of the
family RL-NFH as a basis was especially motivated by the importance of extending the
autonomy and learning of the agents through intelligence. And also, because of its
capacity to overcome some of the limitations present in traditional reinforcement learning
algorithms. Initially, the concepts of satisficing and non-domination were incorporated
into the previous model to accelerate the learning algorithm. Then, the new multi-agent
model was elaborated and implemented, enabling the development of cooperative and
competitive applications, with multiple agents. Case studies have covered different
situations of cooperation and competition between autonomous agents. Three applications
were considered: the Pursuit-Game benckmark game, an electricity auction, where energy
suppliers make offers to meet forecast demand in a given period of time, and an
application in project management area, where intelligent agents are created to provide
activity duration estimates and to automate some processes done usually by the Project
Manager. In all case studies, results were compared with conventional techniques and/or
the performance of other MAS. The results achieved by the new model are encouraging.
The tests showed that the new system has the capacity to coordinate actions between fully
autonomous agents in different situations and environments. Moreover, the new model is
strongly generic and flexible. Due to these properties, it can be used in future in several
other applications involving multiple agents. |
|---|