Avaliação de Faqbots através da ferramenta Autochatter

• Main Author: Campos, Cinthia Cunha Maradei Pereira
• Other Authors: Universidade Federal de Santa Catarina
• Format: Others
• Language: Portuguese
• Published: Florianópolis, SC 2012
• Subjects: Informatica; Ciência da computação; Ergonomia de software -; Fatores humanos; Chatterbots
• Online Access: http://repositorio.ufsc.br/xmlui/handle/123456789/84282

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduaçõa em Ciência da Computação. === Made available in DSpace on 2012-10-20T07:56:18Z (GMT). No. of bitstreams: 1 190696.pdf: 2613590 bytes, checksum: 9352818fdfc34786d9cc0e303e0958e8 (MD5) === Essa dissertação propõe analisar a ferramenta de construção de chatterbots - Autochatter (AC), em seus aspectos técnicos e ergonômicos. O trabalho de avaliação como um todo foi realizado utilizando a metodologia de pesquisa experimental. Utilizou-se a ferramenta durante um pouco mais de três meses visando, através de sucessivas aplicações, avaliar a técnica de construção de faqbots baseada em palavras-chave x resposta a fim de detectar se o aumento da quantidade de questões no repertório traria resultados positivos para o chatterbot. Foram utilizadas como variáveis de controle o uso de um thesaurus e a implementação de três chatterbots com assunto de domínio com graus de abrangência diferentes, os quais foram AIDS, doenças sexualmente transmissíveis e educação sexual (temas com pequena, média e grande abrangência respectivamente). Participaram da pesquisa, dezoito alunos do ensino médio, distribuídos em três grupos/tema, sendo cada grupo dividido em duas partes para análise da performance da ferramenta com e sem o uso do thesaurus. Os resultados obtidos na pesquisa demonstram que o número de respostas corretas do chatterbot frente aos questionamentos do usuário, não está somente ligado à quantidade de questões catalogadas no repertório. O trabalho relata de forma clara os principais pontos a serem refinados no processo de funcionamento do AC (incluindo o aperfeiçoamento da rotina de stemming e do processo de formulação de respostas), de forma a adequar a ferramenta a processos de ensino/aprendizagem. Paralelamente à avaliação técnica, efetuou-se uma análise ergonômica baseada em observações durante o contínuo processo de atualização dos repertórios criados e das diversas aplicações realizadas pelos alunos. Sob este aspecto, foram observados a operacionalidade, falhas de interrupções/erros e performance. Por fim sugeriram-se melhorias baseadas nas análises efetuadas, incluindo desde o projeto de uma nova interface mais amigável e atraente ao usuário, como também modificações na ferramenta para otimizar as tarefas envolvidas no processo de criação do repertório do chatterbot.