| Summary: | Estudamos neste trabalho o comportamento de modelos de redes neurais compostos de neurônios (ou sítios) e padrões descritos por variáveis binárias, onde cada neurônio conecta-se a um número macroscópico de neurônios vizinhos - modelos de campo médio - por meio de sinapses ou interações, cuja forma é escolhida de modo que a rede seja capaz de executar tarefas específicas. Três modelos são investigados neste trabalho: o modelo de Little-Hopfield e dois modelos de processamento sequencial, um com interações simétricas e outro com interações assimétricas. As sinapses do modelo de Little-Hopfield incluem apenas o termo Hebbiano, que tende a estabilizar a rede em um dos padrões, favorecendo sua recuperação. As sinapses dos modelos de processamento sequencial envolvem a competição entre o termo Hebbiano e um termo sequencial, que provoca transições dos estados entre os diferentes padrões armazenados, favorecendo a recuperação de uma sequência de padrões. Nos concentramos essencialmente na análise das propriedades dinâmicas e estacionárias das soluções vinculadas a esses dois modos de processamento de informação, característicos de modelos de memória associativa. A competição entre a recuperação de um padrão e o processamento de uma sequência é responsável pela riqueza exibida pelos diagTamas de fases dos modelos de processamento sequencial, os quais incluem a presença de soluções cíclicas e de ponto-fixo. O comportamento dos modelos de interesse é analisado em três arquiteturas: na rede em camadas, na rede recorrente e numa rede dual, que interpola entre as duas primeiras arquiteturas. Com relação à metodologia, a rede em camadas e a rede recorrente são estudadas através de um tratamento dinàmico, utilizando a análise de sinal-ruído no primeiro caso e o mÉ~tododa funcional geratriz, com simulações numéricas baseadas no procedimento de Eissfeller e Opper, no segundo caso. Os estados estacionários da rede dual são estudados por meio da mecânica estatística de equilíbrio, utilizando o método das réplicas. Resultados para o comportamento desses sistemas são discutidos considerando os regimes de armazenamento finito e infinito de padrões. Apesar dos modelos de processamento sequencial estudados aqui apresentarem diversas limitações com relação a redes de neurônios biológicos, as propriedades qualitativas das soluções exibidas por esses sistemas podem ser interessantes de um ponto de vista biológico. === We study in this work the behaviour of neural network models composed of neurons (01'sites) and patterns described by binary variables, in which each neuron is connected to a macroscopic number of neighbours - mean-field models - by means of synapses or interactions, whose form is chosen in a way that the network is able to perform specific tasks. Three models are investigated in this work: the Little-Hopfield model and two sequence processing models, one with symmetric interactions and another with asymmetric interactions. The synapses of the Little-Hopfield model include only the Hebbian term, which tends to stabilise the network in one of the patterns, favouring its retrieval. The synapses of the sequence processing models involve the competition between the Hebbian term and a sequential term, which generates transitions of states between the stored patterns, favouring the retrieval of a sequence of patterns. \Ve mainly concentrate on the dynamical and stationary properties of the solutions related to both kinds of information processing, typical of associative memory models. The competition between pattern retrieval and sequence processing is responsible for the richness exhibited by the phase diagrams of the sequence processing models, which include the presence of cyclic and fixed-point solutions. The behaviour of the models is analysed in three architectures: the feed-forward layered network, the recurrent network and the dual network, that interpolates between the first two architectures. With respect to the methodology, the strictly feed-forward and recurrent neural networks are studied through a dynamical approach, using the signalto- noise analysis and the generating functional method, respectively. Explicit results for the latter are implemented by numerical simulations following a method of Eissfeller and Opper. The stationary states of the dual network are studied by means of the equilibrium statistical mechanics, using the replica method. Results for the behaviour of these systems are discussed for finite and extensive loading of patterns. Although the sequence processing models studied here have several limitations with respect to biological networks, the qualitative properties of the solutions ex.hibited by these systems may be interesting from a biological point of view.
|
|---|
