SingApp: um modelo de identificação de língua de sinais através de captura de movimento em tempo real

• Main Author: Leal, Márcio Moura
• Other Authors: http://lattes.cnpq.br/8408262156304669
• Language: Portuguese
• Published: Universidade do Vale do Rio dos Sinos 2018
• Subjects: ACCNPQ::Ciências Exatas e da Terra::Ciência da Computação; Infravermelho; Rede neural artificial; Língua de sinais; Infrared; Artificial neural network; Sign language
• Online Access: http://www.repositorio.jesuita.org.br/handle/UNISINOS/7124

Submitted by JOSIANE SANTOS DE OLIVEIRA (josianeso) on 2018-08-01T13:18:07Z No. of bitstreams: 1 Márcio Moura Leal_.pdf: 1004771 bytes, checksum: 0e2cfd2ec35b3be3f90959425cc6ec81 (MD5) === Made available in DSpace on 2018-08-01T13:18:07Z (GMT). No. of bitstreams: 1 Márcio Moura Leal_.pdf: 1004771 bytes, checksum: 0e2cfd2ec35b3be3f90959425cc6ec81 (MD5) Previous issue date: 2018-04-06 === Nenhuma === O reconhecimento das línguas de sinais visa permitir uma maior inserção social e digital das pessoas surdas através da interpretação da sua língua pelo computador. Esta trabalho apresenta um modelo de reconhecimento de dois dos parâmetros globais das línguas de sinais, as configurações de mão e seus movimentos. Através da utilização de uma tecnologia de captura de infravermelho, a estrutura da mão foi reconstruída em um espaço tridimensional virtual e a Rede Neural Perceptron Multicamadas foi usada para fazer a classificação das configurações de mão e de seus movimentos. Além do método de reconhecimento de sinais, esta trabalho visa disponibilizar um conjunto de dados representativos das condições do cotidiano, constituído por uma base de dados de configurações de mão e de captura de movimento validadas por profissionais fluentes em línguas de sinais. Foi usada como estudo de caso a Língua Brasileira de Sinais, a Libras, e obteve-se como resultados uma precisão de 99.8% e 86.7% de acertos das redes neurais que classificavam as configurações de mão e seus movimentos, respectivamente. === The sign language recognition aims to allow a greater social and digital insertion of deaf people through interpretation of your language by the computer. This work presents a recognition model of two global parameters of the sign languages, hand configurations and their movements. Through the usage of infrared capture technology we built the hand structure on a virtual three-dimensional space and the Multilayer Perceptron Neural Network was used to do the hand configuration and movements classifying. Beyond of method to recognize signs, this work aims to provide a set of representative data of the daily conditions, consisting of a database of hand configurations and motion capture validated by fluent professionals in sign languages. To this work, was used, as study case, the Brazilian Sign Language, Libras, and was obtained accuracy rates of 99.8% and 86.7% from neural networks classifying hand configurations and hand motion respectively.