EXPRESSIVE TALKING HEADS: EXPRESSIVE TALKING HEADS: A STUDY ON SPEECH AND FACIAL EXPRESSION IN VIRTUAL CHARACTERS

• Main Author: PAULA SALGADO LUCENA RODRIGUES
• Other Authors: MARCELO GATTASS
• Language: Portuguese
• Published: PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO 2002
• Online Access: http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=6525@1; http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=6525@2

CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO === FUNDAÇÃO PADRE LEONEL FRANCA === A face humana é interessante e desafiadora acima de tudo pela sua familiaridade. Essencialmente, é a parte do corpo utilizada para reconhecer indivíduos. Assim como a face, a fala é um importante instrumento na forma de comunicação do ser humano. Através da fala é possível externar pensamentos e, muitas vezes, ela indica o estado de ânimo em que uma pessoa se encontra. Juntos, fala e face são os principais elementos de interatividade entre os seres humanos. Contudo, reproduzir com naturalidade e fidelidade as peculiaridades destes dois elementos no universo computacional não é uma tarefa simples, constituindo-se em tópicos de pesquisa em diversas áreas, em particular na animação facial. Entre os diversos tipos de sistemas de animação facial, destacam-se como diretamente relacionados a este trabalho aqueles que envolvem a sincronização da fala de um personagem com a animação da sua face. Sistemas desse tipo são conhecidos como talking head ou talking face. Para o desenvolvimento de um sistema talking head, é necessário identificar as possíveis abordagens para a modelagem dos dois elementos básicos: fala e face. Os modelos utilizados irão influenciar não apenas a maneira como a animação é conduzida, mas a própria forma de interatividade do sistema. Uma contribuição importante deste trabalho é o estudo das possíveis abordagens e a proposta de uma taxonomia para a classificação de sistemas talking head. A partir da taxonomia proposta e fazendo uso de uma determinada abordagem para cada parâmetro analisado, foi desenvolvida uma aplicação que recebe como entrada um texto contendo a fala e anotações de expressividade e gera como saída, em tempo real, a animação de um personagem virtual enunciando o texto de entrada com o áudio e os movimentos faciais sincronizados. O sistema desenvolvido, denominado Expressive Talking Heads, explora a naturalidade da animação facial e ao mesmo tempo busca oferecer ao usuário uma interface com interatividade em tempo real. O Expressive Talking Heads pode ser executado tanto no modo isolado (stand alone) como acoplado a navegadores para a web, tendo sido projetado e desenvolvido com a preocupação de oferecer uma solução independente da plataforma e do sistema operacional utilizados. === The human face is interesting and challenging mainly because of its familiarity. Essentially, it is the part of the human body that is used to recognize individuals. As well as the face, the speech is an important instrument for human communication, allowing the exteriorization of thoughts and the definition of emotions. Together, speech and face are the main elements of interactivity among human beings. However, the natural and faithful reproductions of the pecularities of these elements in the computational universe is not a simple task, constituting topics of the research in the diverse areas, particularly in facial animation. Among the diverse types of facial animation systems developed, those that involve the facial animation of the virtual character combined with speech synchronization are distinguished as directly related to this work. These kinds of systems are known as talking head or talking face. Fot the development of a talking head system, it is necessary to identify the possible approaches for the speech and face modeling. The models used will influence not only the way that the animation is performed, but it will also affect the system´s interactivity. An important contribution of the present master thesis is the study of several possible approaches for the main elements and the proposal of taxonomy for the classification of the talking head systems. From the proposed taxonomy and making use of one approach for each analyzed paramenter, an application was developed that receives as input a text composed by the character´s speech and genus, language and emotion parameters, and it generates as output, in real time, the animation of a virtual character uttering the input text with speech synchronization and expressiveness. The system developed, called Expressive Talking Heads, explores the naturalness of facial animation and it seeks to offer the user a real- time interactivity interface. The Expressive Talking Heads system can run as a stand-alone applicattion or connected to web browsers. It was designed and developed to provide a platform and operating system independent solution.