Abordagens para avaliação automática de conferências científicas: um estudo de caso em ciência da computação

• Main Author: Waister Silva Martins
• Other Authors: Marcos Andre Goncalves
• Format: Others
• Language: Portuguese
• Published: Universidade Federal de Minas Gerais 2009
• Online Access: http://hdl.handle.net/1843/SLSS-7WFQ2F

=== Assessing the quality of scientific conferences is an important and useful service that can be providedby digital libraries and similar systems, mainly for dynamic fields such as Computer Science and ElectricEngineering. However, the majority of the existing approaches has been proposed for measuring the quality of journals. In this MSc dissertation we propose two distinct approaches to automatically assess the quality of conferences. In the first one, we depart from a deep analysis of the deficiencies of citation-based metrics to assess the quality of journals and propose a new set of quality metrics specially designed to capture intrinsic and important aspects related to conferences such as longevity, popularity, prestige, and periodicity. To demonstrate the effectiveness of our proposed metrics, we have conducted two sets of experiments. In the first one, our metrics were used to rank a set of Computer Science conferences and the results were contrasted against a 'gold standard' produced by a large group of specialists. Then, we used our metrics to classify these conferences with respect to some pre-established quality levels, also according to the gold standard. Our metrics obtained gains up to 8.4% in ranking similarity and 7.8% in classification accuracy when compared to standard journal quality metrics.In the second approach, we characterize a large number of features (e.g., citations, tradition, submission and acceptance rates, reputation of the program committee members) that can be used as criteria to assess the quality of scientific conference and study how these features can be automatically combined using machine learning techniques to effectively perform this task. Among our several findings, we can cite that: (1) separating high quality conferences from medium and low quality ones can be performed quite effectively, but separating the last two types is a much harder task; and (2) citation features followed by those associated with the tradition of the conference are the most important ones for the task.Thus, in summary, the major contributions of this MSc dissertation are: (i) a study about the relative performance of existing journal metrics in assessing the quality of scientific conferences; (ii) the proposal of a set of new metrics based on bibliographic citations specifically designed to evaluate the conference, which capture intrinsic and important aspects related to conferences that are not considered by existing metrics (for journals); (iii) the characterization of a large number of features that can be used as criteria to assess the quality of scientific conferences; (iv) a study of how these several features can be combined by means of machine learning techniques to automatically and effectively classify conferences; and (v) a deep analysis and discussion about the relative difficulty of the problem. === Avaliar a qualidade de conferências científicas é um importante serviço que pode ser provido por bibliotecas digitais e sistemas similares, principalmente para campos do conhecimento dinâmicos como a Ciência da Computação e a Engenharia Elétrica. Entretanto, a maioria das abordagens existentes está voltada para a avaliação de periódicos. Neste trabalho, propomos duas abordagens para avaliar automaticamente a qualidade de conferências. Na primeira abordagem, realizamos uma análise das deficiências das métricas baseadas em citações bibliográficas usadas para periódicos e propomos um conjunto de novas métricas especialmente projetadas para capturar aspectos intrínsecos e importantes relacionados a conferências, tais como longevidade, popularidade, prestígio e periodicidade. Para demonstrar a efetividade das métricas propostas, conduzimos dois conjuntos de experimentos. No primeiro, nossas métricas foram contrastadas com um gabarito produzido por um grande número de especialistas. Então, utilizamos nossas métricas para classificar essas conferências em níveis de qualidade pré-estabelecidos, também de acordo com o gabarito. Nossas métricas obtiveram ganhos de até 8,4% na comparação de similaridade e 7,8% na acurácia quando comparadas com as métricas tradicionais para classificação de periódicos.Na segunda abordagem, identificamos um grande número de características (por exemplo, citações, tradição, taxas de submissão e aceitação, reputação dos membros do comitê de programa) que podem ser usadas como critérios para avaliar a qualidade de conferências científicas e estudamos como essas características podem ser automaticamente combinadas através de técnicas de aprendizado de máquina para executar essa tarefa efetivamente. Entre nossos principais resultados, podemos citar: (1) a separação de conferências de alta qualidade de conferências de média e baixa qualidade pode ser executada efetivamente, mas separar os dois últimos tipos é uma tarefa muito díficil e (2) as características baseadas em citações seguidas pelas associadas com a tradição da conferência são as mais importantes para essa tarefa.Em suma, as principais contribuições desta dissertação são: (i) estudar a eficácia, para avaliação de conferências, de métricas baseadas em citações bibliográficas projetadas para periódicos; (ii) apresentar um conjunto de novas métricas baseadas em citações bibliográficas projetadas especificamente para avaliação de conferências e que capturam aspectos importantes que não são considerados pelas métricas existentes (para periódicos); (iii) apresentar e detalhar um conjunto de características que podem ser utilizadas como indicadores de qualidade para conferências científicas; (iv) estudar como essas características podem ser combinadas através de técnicas de aprendizado de máquina para automática e efetivamente classificar conferências de acordo com sua a qualidade; e (v) apresentar uma análise detalhada das dificuldades inerentes ao problema de classificação de conferências de acordo com a sua qualidade.