| Summary: | Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2016-08-17T12:35:50Z
No. of bitstreams: 2
license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5)
hslb_vfinal_biblioteca.pdf: 2869691 bytes, checksum: 268c462f64e20bae35c274e245ae62f3 (MD5) === Made available in DSpace on 2016-08-17T12:35:50Z (GMT). No. of bitstreams: 2
license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5)
hslb_vfinal_biblioteca.pdf: 2869691 bytes, checksum: 268c462f64e20bae35c274e245ae62f3 (MD5)
Previous issue date: 2015-08-31 === FACEPE === Contexto: Para que os leitores possam avaliar a validade de um estudo empírico, replicar
seus resultados, ou para que editores possam julgar efetivamente o verdadeiro potencial de
impacto da pesquisa, os autores devem relatar e documentar cuidadosamente elementos da
pesquisa como: motivação, objetivo, método, análise dos dados, resultados, conclusões e
limitações. Infelizmente autores têm indicado que a comunicação dos resultados de estudos
empíricos (EE) na computação em nuvem (CN) omitem informações relevantes destes elementos
de pesquisa.Tais inconveniências na comunicação dos resultados destes estudos, ampliadas a todo
um campo de pesquisa, podem levar a um conjunto potencial de evidências fracas ou ilusórias
para futuras pesquisas científicas.
Objetivo: Apesar de críticas aos relatos dos estudos empíricos serem evidenciadas, até o
presente momento, não foi realizada uma caracterização das informações omitidas pelos autores.
Neste sentido, o presente estudo tem como objetivo apresentar um esforço primeiro que analisa
nos relatos a apresentação dos elementos de pesquisa acima citados, considerados essenciais para
a análise da validade e protencial de uma pesquisa empírica. Analisar a forma de apresentação
dos resultados é um primeiro passo relevante para a compreensão do cenário atual da prática
dos relatos dos estudos empíricos. Assim, foi analisado nos relatos o grau de completude: o
quão presentes estão as informações dos elementos da pesquisa em seus relatos. Afim de realizar
uma análise mais profunda, o foco inicial da pesquisa foi direcionado ao método empírico de
experimentação, com foco nas avaliações da característica de elasticidade da CN.
Método: Através de um mapeamento sistemático da literatura (MSL) foram identificados
os experimentos em elasticidade na computação em nuvem e, através de instrumento de avaliação
criado com base em orientações existentes para se reportar experimentos na engenharia de
software experimental, a completude de seus relatos foi avaliada.
Resultado: Após a avaliação inicial de 3.611 estudos, foram selecionados e analisados
os relatos de 59 experimentos. Constatamos que em geral os autores omitem informações
relacionadas ao planejamento da pesquisa, coleta dos dados, procedimentos de execução, instrumentação,
análise dos dados, relação dos resultados com pesquisas anteriores, ameaças à
validade e generalização dos resultados. Em relação ao índice de completude o maior grau
foi 6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Também
foi realizada uma breve análise qualitativa que revela que, ainda que reportadas, muitas das
informações apresentadas pelos relatos são superficiais e dificultam a interpretação, validação,
generalização e replicação dos resultados dos estudos. === Context: To enable readers to assess the validity of an empirical study, replicate their
results, or allow publishers to effectively judge its true potential impact of research, the authors
should report and carefully document elements of research, such as: motivation, goal, method,
data analysis, findings, conclusions and limitations. Unfortunately authors have indicated that
communication of the results of empirical studies in cloud computing omit relevant information
from these elements. Such inconveniences in reporting the results of these studies, expanded to
an entire field of research, can lead to a potential set of weak or misleading evidence for future
scientific research.
Objective: Despite criticism of the reports of empirical studies are highlighted, to date,
has not been performed a characterization of the information omitted by the authors. In this
sense, this study aims to present a first effort which analyzes the reports presenting the research
elements mentioned above, considered essential for the analysis of the validity and protencial
of empirical research. To examine how to present the results is an important first step towards
understanding the current state of the practice of the reports of empirical studies. Thus, it was
analyzed in the reports of the studies the degree of completeness: which information from
research elements in their reports. In order to conduct a deeper analysis of the reports, the initial
focus of the research was directed to the empirical method of experimentation, focusing on
evaluations of cloud computing elasticity characteristic.
Method: Through a systematic mapping of literature were identified experiments on
elasticity in the cloud computing and through an assessment instrument, created based on existing
guidelines to report experiments in experimental software engineering, the completeness of their
reports was evaluated.
Results: After the initial evaluation of 3,611 studies, 59 experiments were selected and
had their reports analyzed. It was found that in general the authors omit information related
to the research design, data collection, execution procedures, instrumentation, data analysis,
comparison of the results with previous research, threats to validity and generalizability of the
results. In relation to the completeness index, the highest score reached was 6.67 on a scale of 0
to 10, and such completion is considered low in quantitative terms. A brief qualitative analysis
was also conducted which reveals that, although reported, much of the information presented by
the reports are superficial and difficult to interpret, validate, generalize and hinder replication of
study results.
|
|---|
