| Summary: | Made available in DSpace on 2014-06-12T15:59:57Z (GMT). No. of bitstreams: 2
arquivo5808_1.pdf: 2179927 bytes, checksum: f047e667d6364f038f0a1fdd91b757b2 (MD5)
license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5)
Previous issue date: 2011 === A atividade de teste de software pode ser bastante árdua e custosa. No contexto de testes manuais,
todo o esforço com o objetivo de reduzir o tempo de execução dos testes e aumentar
a contenção de defeitos é bem-vindo. Uma possível estratégia é alocar os casos de teste de
acordo com o perfil do testador de forma a maximizar a produtividade. Entretanto, otimizar a
alocação de casos de teste não é uma tarefa trivial: em grandes companhias, gerentes de teste
são responsáveis por alocar centenas de casos de teste aos testadores disponíveis ao início de
uma nova execução. Neste trabalho nós propomos dois algoritmos para a alocação automática
de casos de teste e três perfis para os testadores baseados em sistemas de recomendação (o
mesmo tipo de sistema que recomenda, por exemplo, um livro na Amazon.com ou um filme
no Netflix.com). Cada um dos algoritmos de alocação pode ser combinado com os três perfis
de testador, resultando em seis sistemas de alocação possíveis: Exp-Manager, Exp-Blind,
MO-Manager, MO-Blind, Eff-Manager, e Eff-Blind. Nossos sistemas de alocação consideram
a efetividade (defeitos válidos encontrados no passado) e experiência do testador (habilidade
em executar testes com determinadas características). Com o objetivo de comparar os nossos
sistemas de alocação com a alocação do gerente e com alocações aleatórias, um experimento
controlado, utilizando 100 alocações com pelo menos 50 casos de teste cada uma, foi realizado
em um cenário industrial real. Os sistemas de alocação foram avaliados através das
métricas de precisão, recall e taxa de não-alocação (percentual de casos de teste não alocados).
Em nosso experimento, a aplicação da ANOVA (uma técnica estatística utilizada para
verificar se as amostras de dois ou mais grupos são oriundas de populações com médias iguais)
e do teste de Tukey (um procedimento de comparações múltiplas para identificar quais médias
são significativamente diferentes entre si) mostraram que o Exp-Manager supera os demais
sistemas de alocação com respeito às métricas de precisão e recall. Todos os sistemas de alocação
mostraram-se superiores ao algoritmo randômico. A precisão média (entre os sistemas
de alocação) variou de 39.32% a 64.83% enquanto o recall médio variou de 39.19% a 64.83%;
para a métrica de não-alocação, três sistemas de alocação (Exp-Manager, Exp-Blind e MOBlind)
apresentaram um melhor desempenho alcançando taxa zero de não-alocação para todas
as alocações de testes. A taxa média de não-alocação variou de 0% a 2.34% (para a métrica
não-alocação, quanto menor, melhor). No cenário industrial real onde o nosso trabalho foi
realizado, gerentes de teste gastam de 16 a 30 dias de trabalho por ano com a atividade de alocação
de casos de teste. Nossos sistemas de alocação podem ajudá-los a realizar esta atividade
de forma mais rápida e mais eficaz
|
|---|
