Síntese automática de redes neurais artificiais com conexões à frente arbitrárias

• Main Author: Puma Villanueva, Wilfredo Jaime
• Other Authors: UNIVERSIDADE ESTADUAL DE CAMPINAS
• Format: Others
• Language: Portuguese
• Published: [s.n.] 2011
• Subjects: Redes neurais (Computação); Aprendizado de máquina; Computação evolutiva; Previsão de series temporais; Classificação; Neural networks; Machine learning; Evolutionary computation; Time series prediction; Classification
• Online Access: PUMA VILLANUEVA, Wilfredo Jaime. Síntese automática de redes neurais artificiais com conexões à frente arbitrárias. 2011. 190 p. Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: <http://www.repositorio.unicamp.br/handle/REPOSIP/260777>. Acesso em: 19 ago. 2018.; http://repositorio.unicamp.br/jspui/handle/REPOSIP/260777

Orientador: Fernando José Von Zuben === Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação === Made available in DSpace on 2018-08-19T17:59:57Z (GMT). No. of bitstreams: 1 PumaVillanueva_WilfredoJaime_D.pdf: 4821342 bytes, checksum: 521a056fca2c42985a2fad34069b7255 (MD5) Previous issue date: 2011 === Resumo: Esta tese apresenta duas metodologias de síntese automática de redes neurais artificiais com conexões à frente arbitrárias, com a proposição da arquitetura via computação evolutiva ou via um método construtivo, enquanto que os pesos sinápticos são definidos por técnicas de otimização não-linear. O processo de treinamento supervisionado visa parcimônia do modelo e máxima capacidade de generalização. Quando comparada a iniciativas similares encontradas na literatura, a versão construtiva da metodologia, denominada CoACFNNA, inova também ao permitir a síntese de arquiteturas mais flexíveis, com capacidade de mapeamento linear e não-linear, e ao promover baixo custo computacional. Este algoritmo construtivo parte de uma rede neural mínima, toma decisões de inserção/poda baseadas em análise de sensibilidade e em índices de informação mútua, relaxa o erro de treinamento para evitar convergência prematura e ajusta os pesos sinápticos via um método quasi- Newton com escalonamento automático. Estudos comparativos envolvendo abordagens alternativas baseadas em redes neurais, tais como MLPs, mistura heterogênea de especialistas, Cascade Correlation e a EPNet, baseada em programação evolutiva, indicam que a metodologia é promissora, tendo sido aplicada junto a problemas artificiais e reais, de classificação e de regressão === Abstract: This thesis presents two methodologies for the automatic synthesis of artificial neural networks with arbitrary feed-forward connections, with the proposition of the architecture based on evolutionary computation and on a constructive method, whereas the synaptic weights are defined by nonlinear optimization techniques. The supervised learning process aims at parsimony of the model and maximum generalization capability. When compared to similar approaches in the literature, the constructive version of the methodology, denoted CoACFNNA, innovates also by allowing the synthesis of more flexible architectures, with linear and nonlinear mapping capability, and by promoting low computational cost. This constructive algorithm starts with a minimum neural network, takes decisions of insertion/pruning based on sensitivity analysis and also mutual information indices, relaxes the training error to avoid premature convergence, and adjusts the synaptic weights by means of a quasi-Newton method with automatic scaling. Comparative studies involving alternative approaches based on neural networks, such as MLPs, mixture of heterogeneous experts, cascade correlation and the EPNet, based on evolutionary programming, indicate that the proposal is promising, being applied to artificial and real problems, for classification and regression === Doutorado === Engenharia de Computação === Doutor em Engenharia Elétrica