Uma contribuição ao problema de seleção de modelos neurais usando o princípio de máxima correlação dos erros

• Main Author: Medeiros, Cláudio Marques de Sá
• Other Authors: Barreto, Guilherme de Alencar
• Language: Portuguese
• Published: 2016
• Subjects: Teleinformática; Redes neurais; Teoria dos erros
• Online Access: http://www.repositorio.ufc.br/handle/riufc/16117

MEDEIROS, C. M. S. Uma contribuição ao problema de seleção de modelos neurais usando o princípio de máxima correlação dos erros. 2008. 145 f. Tese (Doutorado em Engenharia de Teleinformática) – Centro de Tecnologia, Universidade Federal do Ceará, Fortaleza, 2008. === Submitted by Marlene Sousa ([e-mail]) on 2016-04-04T13:09:55Z No. of bitstreams: 1 2008_tese_cmsmedeiros.pdf: 1938025 bytes, checksum: 3736bbbf2ed1d1c5db4f522e6cd100e5 (MD5) === Approved for entry into archive by Marlene Sousa([e-mail]) on 2016-04-06T17:28:37Z (GMT) No. of bitstreams: 1 2008_tese_cmsmedeiros.pdf: 1938025 bytes, checksum: 3736bbbf2ed1d1c5db4f522e6cd100e5 (MD5) === Made available in DSpace on 2016-04-06T17:28:37Z (GMT). No. of bitstreams: 1 2008_tese_cmsmedeiros.pdf: 1938025 bytes, checksum: 3736bbbf2ed1d1c5db4f522e6cd100e5 (MD5) Previous issue date: 2008-05-08 === This thesis proposes a new pruning method which eliminates redundant weights in a multilayer perceptron (MLP). Conventional pruning techniques, like Optimal Brain Surgeon (OBS) and Optimal Brain Damage (OBD), are based on weight sensitivity analysis, which requires the inversion of the error Hessian matrix of the loss function (i.e. mean squared error). This inversion is specially susceptible to numerical problems due to poor conditioning of the Hessian matrix and demands great computational efforts. Another kind of pruning method is based on the regularization of the loss function, but it requires the determination of the regularization parameter by trial and error. The proposed method is based on "Maximum Correlation Errors Principle" (MAXCORE). The idea in this principle is to evaluate the importance of each network connection by calculating the cross correlation among errors in a layer and the back-propagated errors in the preceding layer, starting from the output layer and working through the network until the input layer is reached. The connections which have larger correlations remain and the others are pruned from the network. The evident advantage of this procedure is its simplicity, since matrix inversion or parameter adjustment are not necessary. The performance of the proposed method is evaluated in pattern classifi cation tasks and the results are compared to those achieved by the OBS/OBD techniques and also by regularization-based method. For this purpose, arti ficial data sets are used to highlight some important characteristics of the proposed methodology. Furthermore, well known benchmarking data sets, such as IRIS, WINE and DERMATOLOGY, are also used for the sake of evaluation. A real-world biomedical data set related to pathologies of the vertebral column is also used. The results obtained show that the proposed method achieves equivalent or superior performance compared to conventional pruning methods, with the additional advantages of low computational cost and simplicity. The proposed method also presents e ficient behavior in pruning the input units, which suggests its use as a feature selection method. === Propõe-se nesta tese um método de poda de pesos para redes Perceptron Multicamadas (MLP). Técnicas clássicas de poda convencionais, tais como Optimal Brain Surgeon(OBS) e Optimal Brain Damage(OBD), baseiam-se na análise de sensibilidade de cada peso da rede, o que requer a determinação da inversa da matriz Hessiana da função-custo. A inversão da matriz Hessiana, além de possuir um alto custo computacional, é bastante susceptível a problemas numéricos decorrentes do mal-condicionamento da mesma. Métodos de poda baseados na regularização da função-custo, por outro lado, exigem a determinação por tentativa-e-erro de um parâmetro de regularização. Tendo em mente as limitações dos métodos de poda supracitados, o método proposto baseia-se no "Princípio da Máxima Correlação dos Erros" (MAXCORE). A idéia consiste em analisar a importância de cada conexão da rede a partir da correlação cruzada entre os erros em uma camada e os erros retropropagados para a camada anterior, partindo da camada de saída em direção à camada de entrada. As conexões que produzem as maiores correlações tendem a se manter na rede podada. Uma vantagem imediata deste procedimento está em não requerer a inversão de matrizes, nem um parâmetro de regularização. O desempenho do método proposto é avaliado em problemas de classi ficação de padrões e os resultados são comparados aos obtidos pelos métodos OBS/OBD e por um método de poda baseado em regularização. Para este fi m, são usados, além de dados arti cialmente criados para salientar características importantes do método, os conjuntos de dados bem conhecidos da comunidade de aprendizado de máquinas: Iris, Wine e Dermatology. Utilizou-se também um conjunto de dados reais referentes ao diagnóstico de patologias da coluna vertebral. Os resultados obtidos mostram que o método proposto apresenta desempenho equivalente ou superior aos métodos de poda convencionais, com as vantagens adicionais do baixo custo computacional e simplicidade. O método proposto também mostrou-se bastante agressivo na poda de unidades de entrada (atributos), o que sugere a sua aplicação em seleção de características.