Aspectos estatísticos da distribuição espacial de palavras em linguagem escrita

• Main Author: SANTOS, Maelyson Rolim Fonseca dos
• Other Authors: FIGUEIRÊDO, Pedro Hugo de
• Format: Others
• Language: Portuguese
• Published: Universidade Federal Rural de Pernambuco 2017
• Subjects: Linguagem escrita; Entropia; Linguística quantitativa; Mecânica estatística; CIENCIAS EXATAS E DA TERRA::FISICA
• Online Access: http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/6857

Submitted by Mario BC ([e-mail]) on 2017-05-15T13:39:11Z No. of bitstreams: 1 Maelyson Rolim Fonseca dos Santos.pdf: 7542534 bytes, checksum: 8d86996d3992af0946425f4f3b1ceca5 (MD5) === Made available in DSpace on 2017-05-15T13:39:11Z (GMT). No. of bitstreams: 1 Maelyson Rolim Fonseca dos Santos.pdf: 7542534 bytes, checksum: 8d86996d3992af0946425f4f3b1ceca5 (MD5) Previous issue date: 2014-08-13 === Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES === The investigation of the process of evolution and characterization of diferent human languages has been one of the most active research elds in recent decades. Although the search for linguistic patterns that can establish a phylogeny of languages is much older, the statistical characterization of the written language, commonly called quantitative linguistic, has a newer tradition that relies on the work developed by Claude Shannon and George Zipf, written at the end of the 1940s. In this work we investigate some statistical aspects of the frequencies and positions for words in texts and the function of this quantities into the information contained in written language. Initially we explored the scaling relationship between the vocabulary V and the text sizes T, called Heaps' Law, which according to our results is typical for each language. We establish, empirically, a functional relationship between maximum frequency kmax and the total number of words in the text. Secondly we analyze morphological features of symbols, obtaining the word sizes distribution and from its respective entropy. We conclude that this procedure allows us to categorize diferent linguistic groups. Finally we introduce two models able to provide universal limiting behaviors to the relationship between standard deviation and frequency k. The models were designed to describe the behavior of correlated and uncorrelated words, reproducing various properties of texts as the fraction f of correlated words and the structural entropy H. All our theoretical results were compared with those obtained from 500 texts that include wikipedia articles and literary works from various epochs in 10 languages distributed in three linguistic families: germanic (german, danish, swedish and english), romanic (spanish, italian, french and portuguese) and uralic ( nnish and hungarian). === A investigação do processo de evolução e caracterização das diversas linguagens humanas tem sido um dos campos mais ativos de pesquisa nas últimas décadas. Embora a busca por padrões linguísticos que possam estabelecer uma filogenia as línguas seja bem mais antiga, a caracterização estatística da linguagem escrita, comumente denominada linguística quantitativa, possui uma tradição ao mais recente que se apoia nos trabalhos desenvolvidos por George Zipf e Claude Shannon, escritos no final da década de 1940. Nesta disserta c~ao investigamos aspectos frequencistas e espaciais da distribuição de verbetes em textos e o papel destas quantidades sobre a informação contida em linguagem escrita. Num primeiro momento exploramos a relação de escala entre o vocabulário V e o tamanho dos textos T, denominada Lei de Heaps, que segundo nossos resultados e t pica para cada língua. Estabelecemos empiricamente, uma relação funcional entre a frequência máxima kmax e o número total de palavras do texto T. Num segundo momento analisamos características morfológicas dos símbolos obtendo a distribuição de tamanho P(l) dos verbetes e a partir desta a sua respectiva entropia, concluímos que este procedimento nos permite categorizar diferentes grupos linguísticos. Por m introduzimos dois modelos capazes de fornecer comportamentos limitantes universais, para a relação entre a intermitência e a frequência k dos verbetes. Os modelos foram concebidos de forma a descrever o comportamento de verbetes correlacionados e não correlacionados, reproduzindo diversas propriedades de textos como a fração de verbetes correlacionada f e a entropia estrutural H. Ao longo de nossa abordagem, todos os nossos resultados teóricos foram comparados com aqueles obtidos de um corpus composto por 500 textos, que incluem artigos da wikipédia e obras literárias de diversas épocas em 10 idiomas distribuídos em três famílias linguísticas: germânica (alemão, dinamarquês, inglês e sueco), latina (espanhol, italiano, francês e português) e urálica (finlandês e húngaro).