[en] NEUROEVOLUTIONARY MODELS WITH ECHO STATE NETWORKS APPLIED TO SYSTEM IDENTIFICATION

• Main Author: PAULO ROBERTO MENESES DE PAIVA
• Other Authors: MARLEY MARIA BERNARDES REBUZZI VELLASCO
• Language: pt
• Published: MAXWELL 2019
• Subjects: [pt] ECHO STATE NETWORKS; [en] ECHO STATE NETWORKS; [pt] ALGORITMOS EVOLUTIVOS COM INSPIRACAO QUANTICA; [en] QUANTUM-INSPIRED EVOLUTIONARY ALGORITHMS; [pt] IDENTIFICACAO DE SISTEMAS; [en] SYSTEM IDENTIFICATION; [pt] ALGORITMOS EVOLUTIVOS; [en] EVOLUTIONARY ALGORITHMS; [pt] ESTRATEGIAS EVOLUCIONARIAS; [en] EVOLUTION STRATEGIES
• Online Access: http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=36071@1; http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=36071@2; http://doi.org/10.17771/PUCRio.acad.36071

[pt] Através das técnicas utilizadas em Identificação de Sistemas é possível obter um modelo matemático para um sistema dinâmico somente a partir de dados medidos de suas entradas e saídas. Por possuírem comportamento naturalmente dinâmico e um procedimento de treinamento simples e rápido, o uso de redes neurais do tipo Echo State Networks (ESNs) é vantajoso nesta área. Entretanto, as ESNs possuem hiperparâmetros que devem ser ajustados para que obtenham um bom desempenho em uma dada tarefa, além do fato de que a inicialização aleatória de pesos da camada interna destas redes (reservatório) nem sempre ser a ideal em termos de desempenho. Por teoricamente conseguirem obter boas soluções com poucas avaliações, o AEIQ-R (Algoritmo Evolutivo com Inspiração Quântica e Representação Real) e a estratégia evolucionária com adaptação da matriz de covariâncias (CMA-ES) representam alternativas de algoritmos evolutivos que permitem lidar de maneira eficiente com a otimização de hiperparâmetros e/ou pesos desta rede. Sendo assim, este trabalho propõe um modelo neuroevolucionário que define automaticamente uma ESN para aplicações de Identificação de Sistemas. O modelo inicialmente foca na otimização dos hiperparâmetros da ESN utilizando o AEIQ-R ou o CMA-ES, e, num segundo momento, seleciona o reservatório mais adequado para esta rede, o que pode ser feito através de uma segunda otimização focada no ajuste de alguns pesos do reservatório ou por uma escolha simples baseando-se em redes com reservatórios aleatórios. O método proposto foi aplicado a 9 problemas benchmark da área de Identificação de Sistemas, apresentando bons resultados quando comparados com modelos tradicionais. === [en] Through System Identification techniques is possible to obtain a mathematical model for a dynamic system from its input/output data. Due to their intrinsic dynamic behavior and simple and fast training procedure, the use of Echo State Networks, which are a kind of neural networks, for System Identification is advantageous. However, ESNs have global parameters that should be tuned in order to improve their performance in a determined task. Besides, a random reservoir may not be ideal in terms of performance. Due to their theoretical ability of obtaining good solutions with few evaluations, the Real Coded Quantum-Inspired Evolutionary Algorithm (QIEA-R) and the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) represent efficient alternatives of evolutionary algorithms for optimizing ESN global parameters and/or weights. Thus, this work proposes a neuro-evolutionary method that automatically defines an ESN for System Identification problems. The method initially focuses in finding the best ESN global parameters by using the QIEA-R or the CMA-ES, then, in a second moment, in selecting its best reservoir, which can be done by a second optimization focused on some reservoir weights or by doing a simple choice based on networks with random reservoirs. The method was applied to 9 benchmark problems in System Identification, showing good results when compared to traditional methods.