AUTOMATIC GENERATION OF USER INTERFACE TEST SUITES SPECIFIED BY USE CASES

• Main Author: EDUARDO DE OLIVEIRA FERREIRA
• Other Authors: ARNDT VON STAA
• Language: Portuguese
• Published: PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO 2013
• Online Access: http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=23277@1; http://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=23277@2

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO === COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR === PROGRAMA DE EXCELENCIA ACADEMICA === Espera-se que o desenvolvimento de suítes de teste a partir de modelos possa contribuir substancialmente para a redução do esforço humano e aumentar a eficácia dos testes gerados. Entende-se por eficácia (ideal) dos testes o percentual de defeitos existentes encontrados a partir desses testes. Uma grande parte dessas técnicas baseia-se em máquinas de estado e quase sempre estão voltadas para o teste de funcionalidade. Entretanto, existe a necessidade de se poder testar sistemas altamente interativos, tais como smartphones e tablets, a partir de uma descrição de sua interface humano-computador. O objetivo da dissertação é efetuar uma primeira avaliação de uma técnica voltada para a geração de suítes de teste visando o teste de interfaces gráficas. Para tal,desenvolvemos e avaliamos a eficácia de uma ferramenta, chamada Easy, que utiliza casos de uso tabulares e máquina de estados para a geração automática da suíte de testes. Os casos de uso são descritos em linguagem natural restrita. A partir dessa descrição, a ferramenta constrói uma máquina de estado e, a seguir, a utiliza para gerar cenários. Por construção os cenários estarão em conformidade com os casos de uso. Cada cenário corresponde a um caso de teste. Os cenários são apresentados ao usuário em linguagem natural restrita, permitindo a visualização destes antes da geração dos scripts finais de testes. Os scripts gerados são destinados a uma ferramenta de execução automatizada voltada para o teste de interfaces gráficas. Neste trabalho, utilizou-se a ferramenta UI Automation, responsável pela execução de testes em aplicações destinadas ao iOS, sistema operacional de iPhone, iPad e iPod Touch. A eficácia do processo foi avaliada em uma aplicação real, disponível na loja virtual de aplicativos App Store. Além disso, foram realizados testes de IHC afim de avaliar a influência no custo da produção da suíte de teste. === It is expected that the development of test suites from models can contribute substantially to reducing the human effort and to increase the effectiveness of the generated tests. Means for tests’ effectiveness (ideal) the percentage of existing defects found by these tests. Most of these techniques is based on state machines and mostly directed to testing the functionality. However, there is a need to be able to test highly interactive systems, such as smartphones and tablets, from a description of its human computer interface. The goal of the dissertation is to make a first evaluation of a technique aimed to generate test suites for test of human computer graphic interface. For this purpose was developed and evaluated its effectiveness, a tool called Easy, using use cases tabular and state machine for the automatic generation of the suite tests. The use cases are described in natural language restricted. From this description, the tool builds a state machine, and then uses this to generate scenarios. By construction scenarios will be in accordance with the use cases. Each scenario corresponds to a test case. The scenarios are presented to the user in natural language, allowing the visualization of them before the generation of the final scripts tests. The generated scripts are intended to a running automated tool geared to testing graphical interfaces. In this work, we used the UI Automation tool, responsible for running tests on applications for the iOS, operational system for iPhones, iPads and iPod touchs. The effectiveness of the procedure was evaluated in a real application, available in the online store applications App Store. In addition, HCI tests were performed in order to evaluate the influence on the cost of production of the test suite.