Recommender systems for manual testing
Made available in DSpace on 2014-06-12T15:59:57Z (GMT). No. of bitstreams: 2 arquivo5808_1.pdf: 2179927 bytes, checksum: f047e667d6364f038f0a1fdd91b757b2 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2011 === A atividade de teste de softwar...
Main Author: | |
---|---|
Other Authors: | |
Language: | English |
Published: |
Universidade Federal de Pernambuco
2014
|
Subjects: | |
Online Access: | https://repositorio.ufpe.br/handle/123456789/2654 |
id |
ndltd-IBICT-oai-repositorio.ufpe.br-123456789-2654 |
---|---|
record_format |
oai_dc |
spelling |
ndltd-IBICT-oai-repositorio.ufpe.br-123456789-26542019-01-21T19:04:04Z Recommender systems for manual testing MIRANDA, Breno Alexandro Ferreira de IYODA, Juliano Manabu Software Testing Recommender Systems Manual Testing Test Allocation Made available in DSpace on 2014-06-12T15:59:57Z (GMT). No. of bitstreams: 2 arquivo5808_1.pdf: 2179927 bytes, checksum: f047e667d6364f038f0a1fdd91b757b2 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2011 A atividade de teste de software pode ser bastante árdua e custosa. No contexto de testes manuais, todo o esforço com o objetivo de reduzir o tempo de execução dos testes e aumentar a contenção de defeitos é bem-vindo. Uma possível estratégia é alocar os casos de teste de acordo com o perfil do testador de forma a maximizar a produtividade. Entretanto, otimizar a alocação de casos de teste não é uma tarefa trivial: em grandes companhias, gerentes de teste são responsáveis por alocar centenas de casos de teste aos testadores disponíveis ao início de uma nova execução. Neste trabalho nós propomos dois algoritmos para a alocação automática de casos de teste e três perfis para os testadores baseados em sistemas de recomendação (o mesmo tipo de sistema que recomenda, por exemplo, um livro na Amazon.com ou um filme no Netflix.com). Cada um dos algoritmos de alocação pode ser combinado com os três perfis de testador, resultando em seis sistemas de alocação possíveis: Exp-Manager, Exp-Blind, MO-Manager, MO-Blind, Eff-Manager, e Eff-Blind. Nossos sistemas de alocação consideram a efetividade (defeitos válidos encontrados no passado) e experiência do testador (habilidade em executar testes com determinadas características). Com o objetivo de comparar os nossos sistemas de alocação com a alocação do gerente e com alocações aleatórias, um experimento controlado, utilizando 100 alocações com pelo menos 50 casos de teste cada uma, foi realizado em um cenário industrial real. Os sistemas de alocação foram avaliados através das métricas de precisão, recall e taxa de não-alocação (percentual de casos de teste não alocados). Em nosso experimento, a aplicação da ANOVA (uma técnica estatística utilizada para verificar se as amostras de dois ou mais grupos são oriundas de populações com médias iguais) e do teste de Tukey (um procedimento de comparações múltiplas para identificar quais médias são significativamente diferentes entre si) mostraram que o Exp-Manager supera os demais sistemas de alocação com respeito às métricas de precisão e recall. Todos os sistemas de alocação mostraram-se superiores ao algoritmo randômico. A precisão média (entre os sistemas de alocação) variou de 39.32% a 64.83% enquanto o recall médio variou de 39.19% a 64.83%; para a métrica de não-alocação, três sistemas de alocação (Exp-Manager, Exp-Blind e MOBlind) apresentaram um melhor desempenho alcançando taxa zero de não-alocação para todas as alocações de testes. A taxa média de não-alocação variou de 0% a 2.34% (para a métrica não-alocação, quanto menor, melhor). No cenário industrial real onde o nosso trabalho foi realizado, gerentes de teste gastam de 16 a 30 dias de trabalho por ano com a atividade de alocação de casos de teste. Nossos sistemas de alocação podem ajudá-los a realizar esta atividade de forma mais rápida e mais eficaz 2014-06-12T15:59:57Z 2014-06-12T15:59:57Z 2011-01-31 info:eu-repo/semantics/publishedVersion info:eu-repo/semantics/masterThesis Alexandro Ferreira de Miranda, Breno; Manabu Iyoda, Juliano. Recommender systems for manual testing. 2011. Dissertação (Mestrado). Programa de Pós-Graduação em Ciência da Computação, Universidade Federal de Pernambuco, Recife, 2011. https://repositorio.ufpe.br/handle/123456789/2654 eng info:eu-repo/semantics/openAccess Universidade Federal de Pernambuco reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco instacron:UFPE |
collection |
NDLTD |
language |
English |
sources |
NDLTD |
topic |
Software Testing Recommender Systems Manual Testing Test Allocation |
spellingShingle |
Software Testing Recommender Systems Manual Testing Test Allocation MIRANDA, Breno Alexandro Ferreira de Recommender systems for manual testing |
description |
Made available in DSpace on 2014-06-12T15:59:57Z (GMT). No. of bitstreams: 2
arquivo5808_1.pdf: 2179927 bytes, checksum: f047e667d6364f038f0a1fdd91b757b2 (MD5)
license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5)
Previous issue date: 2011 === A atividade de teste de software pode ser bastante árdua e custosa. No contexto de testes manuais,
todo o esforço com o objetivo de reduzir o tempo de execução dos testes e aumentar
a contenção de defeitos é bem-vindo. Uma possível estratégia é alocar os casos de teste de
acordo com o perfil do testador de forma a maximizar a produtividade. Entretanto, otimizar a
alocação de casos de teste não é uma tarefa trivial: em grandes companhias, gerentes de teste
são responsáveis por alocar centenas de casos de teste aos testadores disponíveis ao início de
uma nova execução. Neste trabalho nós propomos dois algoritmos para a alocação automática
de casos de teste e três perfis para os testadores baseados em sistemas de recomendação (o
mesmo tipo de sistema que recomenda, por exemplo, um livro na Amazon.com ou um filme
no Netflix.com). Cada um dos algoritmos de alocação pode ser combinado com os três perfis
de testador, resultando em seis sistemas de alocação possíveis: Exp-Manager, Exp-Blind,
MO-Manager, MO-Blind, Eff-Manager, e Eff-Blind. Nossos sistemas de alocação consideram
a efetividade (defeitos válidos encontrados no passado) e experiência do testador (habilidade
em executar testes com determinadas características). Com o objetivo de comparar os nossos
sistemas de alocação com a alocação do gerente e com alocações aleatórias, um experimento
controlado, utilizando 100 alocações com pelo menos 50 casos de teste cada uma, foi realizado
em um cenário industrial real. Os sistemas de alocação foram avaliados através das
métricas de precisão, recall e taxa de não-alocação (percentual de casos de teste não alocados).
Em nosso experimento, a aplicação da ANOVA (uma técnica estatística utilizada para
verificar se as amostras de dois ou mais grupos são oriundas de populações com médias iguais)
e do teste de Tukey (um procedimento de comparações múltiplas para identificar quais médias
são significativamente diferentes entre si) mostraram que o Exp-Manager supera os demais
sistemas de alocação com respeito às métricas de precisão e recall. Todos os sistemas de alocação
mostraram-se superiores ao algoritmo randômico. A precisão média (entre os sistemas
de alocação) variou de 39.32% a 64.83% enquanto o recall médio variou de 39.19% a 64.83%;
para a métrica de não-alocação, três sistemas de alocação (Exp-Manager, Exp-Blind e MOBlind)
apresentaram um melhor desempenho alcançando taxa zero de não-alocação para todas
as alocações de testes. A taxa média de não-alocação variou de 0% a 2.34% (para a métrica
não-alocação, quanto menor, melhor). No cenário industrial real onde o nosso trabalho foi
realizado, gerentes de teste gastam de 16 a 30 dias de trabalho por ano com a atividade de alocação
de casos de teste. Nossos sistemas de alocação podem ajudá-los a realizar esta atividade
de forma mais rápida e mais eficaz |
author2 |
IYODA, Juliano Manabu |
author_facet |
IYODA, Juliano Manabu MIRANDA, Breno Alexandro Ferreira de |
author |
MIRANDA, Breno Alexandro Ferreira de |
author_sort |
MIRANDA, Breno Alexandro Ferreira de |
title |
Recommender systems for manual testing |
title_short |
Recommender systems for manual testing |
title_full |
Recommender systems for manual testing |
title_fullStr |
Recommender systems for manual testing |
title_full_unstemmed |
Recommender systems for manual testing |
title_sort |
recommender systems for manual testing |
publisher |
Universidade Federal de Pernambuco |
publishDate |
2014 |
url |
https://repositorio.ufpe.br/handle/123456789/2654 |
work_keys_str_mv |
AT mirandabrenoalexandroferreirade recommendersystemsformanualtesting |
_version_ |
1718859808861323264 |