MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join

Made available in DSpace on 2019-04-05T23:08:59Z (GMT). No. of bitstreams: 0 Previous issue date: 2007-12-18 === Mobile computers and wireless communication technologies are already a reality in the modern IT environment, resulting in the paradigm of Mobile Computing. These mobile devices may have...

Full description

Bibliographic Details
Main Author: Albuquerque, Danielle da Costa Filgueiras
Other Authors: Brayner, Angelo Roncalli Alencar
Language:Portuguese
Published: Universidade de Fortaleza 2007
Subjects:
Online Access:https://uol.unifor.br/oul/ObraBdtdSiteTrazer.do?method=trazer&ns=true&obraCodigo=76600
http://dspace.unifor.br/handle/tede/76600
id ndltd-IBICT-oai-dspace.unifor.br-tede-76600
record_format oai_dc
collection NDLTD
language Portuguese
sources NDLTD
topic Sistema de comunicação móvel
Sistema de comunicação sem fio
spellingShingle Sistema de comunicação móvel
Sistema de comunicação sem fio
Albuquerque, Danielle da Costa Filgueiras
MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join
description Made available in DSpace on 2019-04-05T23:08:59Z (GMT). No. of bitstreams: 0 Previous issue date: 2007-12-18 === Mobile computers and wireless communication technologies are already a reality in the modern IT environment, resulting in the paradigm of Mobile Computing. These mobile devices may have BD and their data may be shared. However, the junction operators of the conventional search operators do not take into account the limitations of a mobility-supporting environment, such as a disconnection from the communication network, a narrow communication bandwidth, the battery charge level, etc. Therefore, the junction algorithms need to be adjusted to the limitations of the mobile computing in order to render satisfactory results and execute a search requested by the user within a reasonable period of time. The necessary characteristics for an algorithm to be executed in a mobilitysupporting environment are: (1) incremental production of results as the data become available; (2) continuous processing of the search, even if the delivery of data is blocked; and (3) reaction to limited memory situations during the execution of the search [1]. It was evidenced through studies and tests that the Hash-Merge Join (HMJ) is more efficient to guarantee these 3 characteristics (properties) needed when working with junctions in an efficient fashion within a mobile computing environment. When the memory is at its full storage capacity, the HMJ algorithm releases memory partitions according to the memory status. This adaptation to the memory status determines the best pair of partitions, being each partition from a different source, to be sent to the disk in a way that maximizes the time until the next memory overflow. A memory overflow occurs when the memory reaches its storage capacity. The aim of this work is to propose a new memory data flushing policy MFP. This policy offers an optimization of the Adaptive Flushing Policy (AFP) while keeping the same main goal, i.e. to send pairs of partitions to the disk in the event of a memory overflow. The AFP releases corresponding pairs of partitions to the disk based on a summary table kept in memory and on two parameters: (1) memory balance; and (2) minimum partition size. The summary table in memory contains the size of each partition, the sum of the individual sizes of each pair of partitions of both lists and the total size of partitions of each list. 8 The MFP also releases corresponding pairs of partitions to the disk, based on a constant memory balance and a summary table different from the summary table used by the AFP. The summary table of this new policy has one more column, which states the cardinality difference of each pair of partitions of the input lists. The main goal of this new column is to guarantee that the pair of partitions chosen to be sent to the disk will always leave a balanced memory, while it guarantees that there will always be at least one pair of partitions to be sent to the disk. === Em uma MDBC as técnicas de processamento de consultas devem ser adaptadas para lidarem com a instabilidade do ambiente, assim como limitação de recursos, por exemplo memórias limitadas dos computadores móveis. Vejamos um exemplo: as fontes de dados podem ter as taxas de entregas de tuplas previstas pelo otimizador de consultas, no entanto devido a uma desconexão de uma das fontes de dados da rede sem fio, tal fonte de dados ficará desconectada da rede e por conseqüência, não poderá entregar suas tuplas temporariamente, logo o operador de junção ficará parado(bloqueado). Para processar consultas em uma MDBC, os algoritmos de junção precisam ter as características seguintes: (1) produção incremental de resultados à medida que os dados são disponibilizados, (2) continuidade no processamento da consulta mesmo que a entrega dos dados esteja bloqueada, e (3) reação a situações de limitação de memória durante a execução da consulta[Erro! A origem da referência não foi encontrada.]. Esse trabalho é propõe uma nova política de liberação de dados da memória, chamada Mobile Flushing Policy(MFP). A política MFP propõe uma otimização da política Adaptive Flushing Policy(AFP), usada pelo algoritmo de junção Hash-Merge Join, mantendo o mesmo objetivo principal, enviar pares de partições para o disco, em caso de ocorrência de overflow de memória. A política AFP libera pares correspondentes de partições para o disco com base em uma tabela resumo mantida em memória e dois parâmetros: (1) balanceamento de memória e (2) tamanho mínimo de partições. Esta política mantém uma tabela resumo em memória contendo o tamanho de cada partição, o somatório dos tamanhos de cada par de partições de ambas as relações e o tamanho total de partições de cada relação. A política MFP também libera pares correspondentes de partições para o disco com base em uma constante de balanceamento de memória e uma tabela resumo diferenciada da tabela resumo utilizada pela política AFP. A tabela resumo da nova política tem uma coluna a mais discriminando a diferença da cardinalidade de cada par de partições das relações de entrada. O objetivo principal da nova coluna é garantir que o par de partições escolhido para ser enviado ao disco deixará a memória balanceada, além de garantir que sempre haverá no mínimo um par de partições a ser enviado ao disco.
author2 Brayner, Angelo Roncalli Alencar
author_facet Brayner, Angelo Roncalli Alencar
Albuquerque, Danielle da Costa Filgueiras
author Albuquerque, Danielle da Costa Filgueiras
author_sort Albuquerque, Danielle da Costa Filgueiras
title MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join
title_short MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join
title_full MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join
title_fullStr MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join
title_full_unstemmed MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join
title_sort mfp : uma política eficiente de liberação de memória para o operador físico hash-merge join
publisher Universidade de Fortaleza
publishDate 2007
url https://uol.unifor.br/oul/ObraBdtdSiteTrazer.do?method=trazer&ns=true&obraCodigo=76600
http://dspace.unifor.br/handle/tede/76600
work_keys_str_mv AT albuquerquedanielledacostafilgueiras mfpumapoliticaeficientedeliberacaodememoriaparaooperadorfisicohashmergejoin
_version_ 1719016660839432192
spelling ndltd-IBICT-oai-dspace.unifor.br-tede-766002019-04-10T02:21:13Z MFP : uma política eficiente de liberação de memória para o operador físico Hash-Merge Join Albuquerque, Danielle da Costa Filgueiras Brayner, Angelo Roncalli Alencar Farias, Pedro Porfírio Muniz Andrade, Rossana Maria de Castro Brayner, Angelo Roncalli Alencar Sistema de comunicação móvel Sistema de comunicação sem fio Made available in DSpace on 2019-04-05T23:08:59Z (GMT). No. of bitstreams: 0 Previous issue date: 2007-12-18 Mobile computers and wireless communication technologies are already a reality in the modern IT environment, resulting in the paradigm of Mobile Computing. These mobile devices may have BD and their data may be shared. However, the junction operators of the conventional search operators do not take into account the limitations of a mobility-supporting environment, such as a disconnection from the communication network, a narrow communication bandwidth, the battery charge level, etc. Therefore, the junction algorithms need to be adjusted to the limitations of the mobile computing in order to render satisfactory results and execute a search requested by the user within a reasonable period of time. The necessary characteristics for an algorithm to be executed in a mobilitysupporting environment are: (1) incremental production of results as the data become available; (2) continuous processing of the search, even if the delivery of data is blocked; and (3) reaction to limited memory situations during the execution of the search [1]. It was evidenced through studies and tests that the Hash-Merge Join (HMJ) is more efficient to guarantee these 3 characteristics (properties) needed when working with junctions in an efficient fashion within a mobile computing environment. When the memory is at its full storage capacity, the HMJ algorithm releases memory partitions according to the memory status. This adaptation to the memory status determines the best pair of partitions, being each partition from a different source, to be sent to the disk in a way that maximizes the time until the next memory overflow. A memory overflow occurs when the memory reaches its storage capacity. The aim of this work is to propose a new memory data flushing policy MFP. This policy offers an optimization of the Adaptive Flushing Policy (AFP) while keeping the same main goal, i.e. to send pairs of partitions to the disk in the event of a memory overflow. The AFP releases corresponding pairs of partitions to the disk based on a summary table kept in memory and on two parameters: (1) memory balance; and (2) minimum partition size. The summary table in memory contains the size of each partition, the sum of the individual sizes of each pair of partitions of both lists and the total size of partitions of each list. 8 The MFP also releases corresponding pairs of partitions to the disk, based on a constant memory balance and a summary table different from the summary table used by the AFP. The summary table of this new policy has one more column, which states the cardinality difference of each pair of partitions of the input lists. The main goal of this new column is to guarantee that the pair of partitions chosen to be sent to the disk will always leave a balanced memory, while it guarantees that there will always be at least one pair of partitions to be sent to the disk. Em uma MDBC as técnicas de processamento de consultas devem ser adaptadas para lidarem com a instabilidade do ambiente, assim como limitação de recursos, por exemplo memórias limitadas dos computadores móveis. Vejamos um exemplo: as fontes de dados podem ter as taxas de entregas de tuplas previstas pelo otimizador de consultas, no entanto devido a uma desconexão de uma das fontes de dados da rede sem fio, tal fonte de dados ficará desconectada da rede e por conseqüência, não poderá entregar suas tuplas temporariamente, logo o operador de junção ficará parado(bloqueado). Para processar consultas em uma MDBC, os algoritmos de junção precisam ter as características seguintes: (1) produção incremental de resultados à medida que os dados são disponibilizados, (2) continuidade no processamento da consulta mesmo que a entrega dos dados esteja bloqueada, e (3) reação a situações de limitação de memória durante a execução da consulta[Erro! A origem da referência não foi encontrada.]. Esse trabalho é propõe uma nova política de liberação de dados da memória, chamada Mobile Flushing Policy(MFP). A política MFP propõe uma otimização da política Adaptive Flushing Policy(AFP), usada pelo algoritmo de junção Hash-Merge Join, mantendo o mesmo objetivo principal, enviar pares de partições para o disco, em caso de ocorrência de overflow de memória. A política AFP libera pares correspondentes de partições para o disco com base em uma tabela resumo mantida em memória e dois parâmetros: (1) balanceamento de memória e (2) tamanho mínimo de partições. Esta política mantém uma tabela resumo em memória contendo o tamanho de cada partição, o somatório dos tamanhos de cada par de partições de ambas as relações e o tamanho total de partições de cada relação. A política MFP também libera pares correspondentes de partições para o disco com base em uma constante de balanceamento de memória e uma tabela resumo diferenciada da tabela resumo utilizada pela política AFP. A tabela resumo da nova política tem uma coluna a mais discriminando a diferença da cardinalidade de cada par de partições das relações de entrada. O objetivo principal da nova coluna é garantir que o par de partições escolhido para ser enviado ao disco deixará a memória balanceada, além de garantir que sempre haverá no mínimo um par de partições a ser enviado ao disco. 2007-12-18 2019-04-05T23:08:59Z 2007-12-18 info:eu-repo/semantics/publishedVersion info:eu-repo/semantics/masterThesis https://uol.unifor.br/oul/ObraBdtdSiteTrazer.do?method=trazer&ns=true&obraCodigo=76600 http://dspace.unifor.br/handle/tede/76600 por 5443571202788449035 500 500 -7645770940771915222 info:eu-repo/semantics/openAccess Universidade de Fortaleza Mestrado Em Informática Aplicada UNIFOR Brasil Centro de Ciências Tecnológicas reponame:Biblioteca Digital de Teses e Dissertações da UNIFOR instname:Universidade de Fortaleza instacron:UNIFOR