Análise de completude dos relatos de experimentos em elasticidade na computação em nuvem: um mapeamento sistemático

• Main Author: BARREIROS, Helaine Solange Lins
• Other Authors: http://lattes.cnpq.br/6613487636748832
• Language: Portuguese
• Published: Helaine Solange Lins Barreiros 2016
• Subjects: Engenharia de Software; Computação em Nuvem; Elasticidade; Engenharia de Software Experimental; Experimentos; Software Engineering; Cloud Computing; Elasticity; Experiments
• Online Access: https://repositorio.ufpe.br/handle/123456789/17692

Submitted by Fabio Sobreira Campos da Costa ([e-mail]) on 2016-08-17T12:35:50Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) hslb_vfinal_biblioteca.pdf: 2869691 bytes, checksum: 268c462f64e20bae35c274e245ae62f3 (MD5) === Made available in DSpace on 2016-08-17T12:35:50Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) hslb_vfinal_biblioteca.pdf: 2869691 bytes, checksum: 268c462f64e20bae35c274e245ae62f3 (MD5) Previous issue date: 2015-08-31 === FACEPE === Contexto: Para que os leitores possam avaliar a validade de um estudo empírico, replicar seus resultados, ou para que editores possam julgar efetivamente o verdadeiro potencial de impacto da pesquisa, os autores devem relatar e documentar cuidadosamente elementos da pesquisa como: motivação, objetivo, método, análise dos dados, resultados, conclusões e limitações. Infelizmente autores têm indicado que a comunicação dos resultados de estudos empíricos (EE) na computação em nuvem (CN) omitem informações relevantes destes elementos de pesquisa.Tais inconveniências na comunicação dos resultados destes estudos, ampliadas a todo um campo de pesquisa, podem levar a um conjunto potencial de evidências fracas ou ilusórias para futuras pesquisas científicas. Objetivo: Apesar de críticas aos relatos dos estudos empíricos serem evidenciadas, até o presente momento, não foi realizada uma caracterização das informações omitidas pelos autores. Neste sentido, o presente estudo tem como objetivo apresentar um esforço primeiro que analisa nos relatos a apresentação dos elementos de pesquisa acima citados, considerados essenciais para a análise da validade e protencial de uma pesquisa empírica. Analisar a forma de apresentação dos resultados é um primeiro passo relevante para a compreensão do cenário atual da prática dos relatos dos estudos empíricos. Assim, foi analisado nos relatos o grau de completude: o quão presentes estão as informações dos elementos da pesquisa em seus relatos. Afim de realizar uma análise mais profunda, o foco inicial da pesquisa foi direcionado ao método empírico de experimentação, com foco nas avaliações da característica de elasticidade da CN. Método: Através de um mapeamento sistemático da literatura (MSL) foram identificados os experimentos em elasticidade na computação em nuvem e, através de instrumento de avaliação criado com base em orientações existentes para se reportar experimentos na engenharia de software experimental, a completude de seus relatos foi avaliada. Resultado: Após a avaliação inicial de 3.611 estudos, foram selecionados e analisados os relatos de 59 experimentos. Constatamos que em geral os autores omitem informações relacionadas ao planejamento da pesquisa, coleta dos dados, procedimentos de execução, instrumentação, análise dos dados, relação dos resultados com pesquisas anteriores, ameaças à validade e generalização dos resultados. Em relação ao índice de completude o maior grau foi 6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Também foi realizada uma breve análise qualitativa que revela que, ainda que reportadas, muitas das informações apresentadas pelos relatos são superficiais e dificultam a interpretação, validação, generalização e replicação dos resultados dos estudos. === Context: To enable readers to assess the validity of an empirical study, replicate their results, or allow publishers to effectively judge its true potential impact of research, the authors should report and carefully document elements of research, such as: motivation, goal, method, data analysis, findings, conclusions and limitations. Unfortunately authors have indicated that communication of the results of empirical studies in cloud computing omit relevant information from these elements. Such inconveniences in reporting the results of these studies, expanded to an entire field of research, can lead to a potential set of weak or misleading evidence for future scientific research. Objective: Despite criticism of the reports of empirical studies are highlighted, to date, has not been performed a characterization of the information omitted by the authors. In this sense, this study aims to present a first effort which analyzes the reports presenting the research elements mentioned above, considered essential for the analysis of the validity and protencial of empirical research. To examine how to present the results is an important first step towards understanding the current state of the practice of the reports of empirical studies. Thus, it was analyzed in the reports of the studies the degree of completeness: which information from research elements in their reports. In order to conduct a deeper analysis of the reports, the initial focus of the research was directed to the empirical method of experimentation, focusing on evaluations of cloud computing elasticity characteristic. Method: Through a systematic mapping of literature were identified experiments on elasticity in the cloud computing and through an assessment instrument, created based on existing guidelines to report experiments in experimental software engineering, the completeness of their reports was evaluated. Results: After the initial evaluation of 3,611 studies, 59 experiments were selected and had their reports analyzed. It was found that in general the authors omit information related to the research design, data collection, execution procedures, instrumentation, data analysis, comparison of the results with previous research, threats to validity and generalizability of the results. In relation to the completeness index, the highest score reached was 6.67 on a scale of 0 to 10, and such completion is considered low in quantitative terms. A brief qualitative analysis was also conducted which reveals that, although reported, much of the information presented by the reports are superficial and difficult to interpret, validate, generalize and hinder replication of study results.