Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.

• Main Author: TRUTA, Ítalo Henrique Costa.
• Other Authors: BRITO, Andrey Elísio Monteiro.
• Language: Portuguese
• Published: Universidade Federal de Campina Grande 2016
• Subjects: Ciências; Ciência da Computação.; Rede de Computadores.; Computação na Nuvem.; Processamento de Dados - Modelo PaaS.
• Online Access: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798

Submitted by Maria Medeiros ([e-mail]) on 2018-05-24T13:02:21Z No. of bitstreams: 1 ÍTALO HENRIQUE COSTA TRUTA - DISSERTAÇÃO (PPGCC) 2016.pdf: 1851862 bytes, checksum: 077c5179782b3aa8aa14351d49baee9e (MD5) === Made available in DSpace on 2018-05-24T13:02:21Z (GMT). No. of bitstreams: 1 ÍTALO HENRIQUE COSTA TRUTA - DISSERTAÇÃO (PPGCC) 2016.pdf: 1851862 bytes, checksum: 077c5179782b3aa8aa14351d49baee9e (MD5) Previous issue date: 2016 === Seguindo a tendência de diversas áreas da computação, o processamento de Big Data também foi movido para a nuvem, devido à flexibilidade e facilidade que o modelo de computação na nuvem oferece, especialmente no modelo PaaS, onde os usuários podem executar suas aplicações Big Data de maneira mais fácil e barata. Centros computacionais de nuvem necessitam fazer um gerenciamento adequado de recursos para fazer melhor aproveitamento do aparato disponível, bem como minimizar custo operacional, já que grande parte dos recursos disponíveis passam a maior parte do tempo ociosos. Muito dessa ociosidade se deve ao sistema de cotas, que considera alocação estática de recursos, ao invés de observar se os recursos estão sendo, de fato, utilizados. O trabalho apresentado nesta dissertação propõe uma solução para melhor gerenciamento de recursos em nuvens voltadas para processamento de dados com o modelo PaaS. Esse procedimento é feito por meio de abordagens preditivas tanto a nível operacional, estimando a carga dos servidores que compõem a nuvem em instantes futuros com base na utilização real no momento e em dados históricos, e a nível de aplicação, estimando a duração de tarefas de processamento em lote usando um agrupamento baseado em dados de aplicações previamente executadas. Com estes dados, a abordagem proposta é capaz de tomar decisões não-triviais na medida em que o usuário submete aplicações para execução, tais como acelerar a tarefa, caso haja recursos sobrando no momento, adiá-la, caso não haja recursos no momento mas tenha previsão de que haverá em um curto prazo, ou rejeitá-la, caso não haja recursos no momento da chegada, nem previsão de haver nas próximas janelas de execução. Fazendo uso dessa abordagem, em comparação com o caso usual, controlado pelo sistema de cotas estáticas de recurso, obtivemos um acréscimo médio de mais de 10% dos recursos da nuvem, com um acréscimo no custo operacional de apenas 1%, considerando a não-proporcionalidade de energia, também avaliada nos nossos experimentos. Além disso, houve um aumento de 20% na taxa de requisições de tarefas processadas com sucesso, o que acarretou em um acréscimo no faturamento líıquido entre 10 e 20%. === Following the trend of many computing areas, Big Data processing has also been moved to the cloud, due to the flexibility and easiness the cloud model provides, specially in the PaaS model, where users can run their Big Data applications in an even easier and cheaper way. Cloud computing data centers need to have proper resource management in order to make best usage of available capabilities and minimize operational cost, as a large portion of the computational resources is idle most of the time. This idleness is mostly caused by the quota management system, which only considers static resource allocation, instead of looking whether the resources are indeed used. In this work, we propose a solution to better manage the resources in PaaS cloud environments, focused on data processing. This management is made through predictive approaches, both in operational level, forecasting the workload of cloud servers in next time windows (based on the current utilization and historical data), and at application level, estimating the makespan of batch data processing applications with a clustering algorithm based on previously executed jobs characteristics. With those data, the proposed solution is able to take a set of non-trivial decisions, such as accelerating the job if more resources than requested are available, postponing the job when resources are only available in next time windows,or rejecting it, when there are not enough resources at the moment, neither in next windows. With this approach, when compared to the usual case, regulated by static resource quotas, we obtained a 10% increase of average CPU and RAM utilization across the cloud, with an operation cost increase of only 1%, considering the non-proportionality of power consuming, also observed in our experiments. Besides that, the system also showed a 20% increase in the average success fully processed jobs, occasioning a profit i ncrement between 10% and 20%.