| Summary: | A pesquisa em redes neurais artificiais (RNAs) está atualmente experimentando um crescente interesse por modelos que utilizem a variável tempo como um grau de liberdade extra a ser explorado nas representações neurais. Esta ênfase na codificação temporal (temporal coding) tem provocado debates inflamados nas neurociências e áreas correlatas, mas nos últimos anos o surgimento de um grande volume de dados comportamentais e fisiológicos vêm dando suporte ao papel-chave desempenhado por este tipo de representação no cérebro [BALLARD et al. (1998)]. Contribuições ao estudo da representação temporal em redes neurais vêm sendo observadas nos mais diversos tópicos de pesquisa, tais como sistemas dinâmicos não-lineares, redes oscilatórias, redes caóticas, redes com neurônios pulsantes e redes acopladas por pulsos. Como conseqüência, várias tarefas de processamento da informação têm sido investigada via codificação temporal, a saber: classificação de padrões, aprendizagem, memória associativa, controle sensório-motor, identificação de sistemas dinâmicos e robótica. Freqüentemente, porém, não fica muito claro até que ponto a modelagem dos aspectos temporais de uma tarefa contribui para aumentar a capacidade de processamento da informação de modelos neurais. Esta tese busca apresentar, de uma maneira clara e abrangente, os principais conceitos e resultados referentes à proposição de dois modelos de redes neurais não-supervisionadas (RNATs), e como estas lançam mão da codificação temporal para desempenhar melhor a tarefa que lhes é confiada. O primeiro modelo, chamado rede competitiva Hebbiana temporal (competitive temporal Hebbian - CTH), é aplicado especificamente em tarefas de aprendizagem e reprodução de trajetórias do robô manipulador PUMA 560. A rede CTH é uma rede neural competitiva cuja a principal característica é o aprendizado rápido, em apenas uma época de treinamento, de várias trajetórias complexas contendo ) elementos repetidos. As relações temporais da tarefa, representadas pela ordem temporal da trajetória, são capturadas por pesos laterais treinados via aprendizagem hebbiana. As propriedades computacionais da rede CTH são avaliadas através de simulações, bem como através da implementação de um sistema de controle distribuído para o robô PUMA 560 real. O desempenho da rede CTH é superior ao de métodos tabulares (look-up table) tradicionais de aprendizagem de trajetórias robóticas e ao de outras técnicas baseadas em redes neurais, tais como redes recorrentes supervisionadas e modelos de memória associativa bidirecional (BAM). O segundo modelo, chamado rede Auto-Organizável NARX (Self-Organizing NARX-SONARX), é baseado no conhecido algoritmo SOM, proposto por KOHONEN (1997). Do ponto de vista computacional, as propriedades de rede SONARX são avaliadas em diferentes domínios de aplicação, tais como predição de séries temporais caóticas, identificação de um atuador hidráulico e no controle preditivo de uma planta não-linear. Do ponto de vista teórico, demonstra-se que a rede SONARX pode ser utilizada como aproximador assintótico de mapeamentos dinâmicos não-lineares, graças a uma nova técnica de modelagem neural, chamada Memória Associativa Temporal via Quantização Vetorial (MATQV). A MATQV, assim como a aprendizagem hebbiana da rede CTH, é uma técnica de aprendizado associativo temporal. A rede SONARX é comparada com modelos NARX supervisionados, implementados a partir das redes MLP e RBF. Em todos os testes realizados para cada uma das tarefas citadas no parágrafo anterior, a rede SONARX tem desempenho similar ou melhor do que o apresentado por modelos supervisionados tradicionais, com um custo computacional consideravelmente menor. A rede SONARX é também comparada com a rede CTH na parendizagem de trajetórias robóticas complexas, com o intuito de destacar as principais diferenças entre os dois ) tipos de aprendizado associativo. Esta tese também propõe uma taxonomia matemática, baseada na representação por espaço de estados da teoria de sistemas, que visa classificar redes neurais não-supervisionadas temporais com ênfase em suas propriedades computacionais. Esta taxonomia tem como principal objetivo unificar a descrição de modelos neurais dinâmicos, facilitando a análise e a comparação entre diferentes arquiteturas, contrastando suas características representacionais e operacionais. Como exemplo, as redes CTH e a SONARX serão descritas usando a taxonomia proposta.
===
Neural network research is currently witnessing a significant shift of emphasis towards temporal coding, which uses time as an extra degree of freedom in neural representations. Temporal coding is passionately debated in neuroscience and related fields, but in the last few years a large volume of physiological and behavioral data has emerged that supports a key role for temporal coding in the brain [BALLARD et al. (1998)]. In neural networks, a great deal of research is undertaken under the topics of nonlinear dynamics, oscillatory and chaotic networks, spiking neurons, and pulse-coupled networks. Various information processing tasks are investigated using temporal coding, including pattern classification, learning, associative memory, inference, motor control, dynamical systems identification and control, and robotics. Progress has been made that substantially advances the state-of-the-art of neural computing. In many instances, however, it is unclear whether, and to what extent, the temporal aspects of the models contribute to information processing capabilities. This thesis seeks to present, in a clear and collective way, the main issues and results regarding the proposal of two unsupervised neural models, emphasizing how these networks make use of temporal coding to perform better in the task they are engaged in. The first model, called Competitive Temporal Hebbian (CTH) network, is applied specifically to learning and reproduction of trajectories of a PUMA 560 robot. The CTH model is a competitive neural network whose main characteristic is the fast learning, in just one training epoch, of multiple trajectories containing repeated elements. The temporal relationships within the task, represented by the temporal order of the elements of a given trajectory, are coded in lateral synaptic trained with hebbian learning. The computational properties of the CTH network are assessed through simulations, as well ) as through the practical implementation of a distributed control system for the real PUMA 560 robot. The CTH performs better than conventional look-up table methods for robot trajectory learning, and better than other neural-based techniques, such as supervised recurrent networks and bidirectional associative memory models. The second model, called Self-Organizing NARX (SONARX) network, is based on the well-known SOM algorithm by KOHONEN (1997). From the computational view-point, the properties of the SONARX model are evaluated in different application domains, such as prediction of chaotic time series, identification of an hydraulic actuator and predictive control of a non-linear plant. From the theoretic viewpoint, it is shown that the SONARX model can be seen as an asymptotic approximator for nonlinear dynamical mappings, thanks to a new neural modelling technique, called Vector-Quantized Temporal Associative Memory (VQTAM). This VQTAM, just like the hebbian learning rule of the CTH network, is a temporal associative memory techniques. The SONARX network is compared with supervised NARX models which based on the MLP and RBF networks. For all simulations, in each one of the forementioned application domains, the SONARX network had a similar and sometimes better performance than those observed for standard supervised models, with the additional advantage of a lower computational cost. The SONARX model is also compared with the CTH network in trajectory reproduction tasks, in order to contrast the main differences between these two types of temporal associative learning models. In this thesis, it is also proposed a mathematical taxonomy, based on the state-space representation of dynamical systems, for classification of unsupervised temporal neural networks with emphasis in their computational properties. The main goal of this taxonomy is to unify the description of dynamic neural models, ) facilitating the analysis and comparison of different architectures by constrasting their representational and operational characteristics. Is is shown how the CTH and SONARX models can be described using the proposed taxonomy.
|
|---|
