[en] USE OF FUZZY LOGIC IN META-EVALUATION: AN ALTERNATIVE APPROACH

• Main Author: ANA CAROLINA LETICHEVSKY
• Other Authors: MARLEY MARIA BERNARDES REBUZZI VELLASCO
• Language: pt
• Published: MAXWELL 2006
• Subjects: [pt] AVALIACAO; [en] EVALUATION; [pt] LOGICA FUZZY; [en] FUZZY LOGIC; [pt] AVALIACAO DE PROJETOS; [en] PROJECT EVALUATION; [pt] META-AVALIACAO; [en] META-EVALUATION; [pt] AVALIACAO DE PROGRAMAS; [en] PROGRAM EVALUATION
• Online Access: https://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=8159@1; https://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=8159@2; http://doi.org/10.17771/PUCRio.acad.8159

[pt] Assegurar a qualidade de uma avaliação é um grande desafio para os avaliadores. A avaliação de um processo avaliativo denomina-se meta-avaliação. No Brasil já existe uma grande preocupação com a qualidade da avaliação, contudo o conceito de meta-avaliação ainda é uma novidade. Os profissionais discutem quais são os critérios de excelência que uma verdadeira avaliação deve atender tendo como base os padrões definidos pelo Joint Committee on Standards for Educational Evaluation (1994), que estão agrupados em quatro grandes categorias: utilidade, viabilidade, ética e precisão. Este trabalho propõe uma nova metodologia para meta-avaliação utilizando os conceitos de conjuntos fuzzy e da lógica fuzzy. A metodologia é composta por um instrumental de coleta de dados (lista de checagem para meta-avaliação de programas/projetos) e por um sistema de inferência fuzzy hierárquico para o tratamento de dados referentes à metaavaliação de programas/projetos. As principais vantagens de um sistema desse tipo são: (i) a possibilidade de trabalhar com regras lingüísticas; (ii) a utilização de ferramentas adequadas para trabalhar com a imprecisão intrínseca que existe em problemas complexos, como é o caso de processos de meta- avaliação; (iii) a incorporação de conhecimento subjetivo (de especialistas); (iv) a adaptabilidade do processo de inferência a situações específicas. A metodologia ora proposta utiliza um sistema hierárquico composto por trinta e seis bases de regras organizadas em três níveis: padrão (nível 1), categoria (nível 2), e meta-avaliação (nível 3). As principais características da metodologia desenvolvida são: (i) o instrumento de coleta de dados, que permite respostas intermediárias; (ii) a capacidade de adaptação do sistema de inferência fuzzy a necessidades específicas; (iii) a transparência obtida pela utilização de regras lingüísticas, o que facilita a discussão e o entendimento de todo o processo. Acredita-se que esta metodologia facilitará os processos de meta-avaliação. Este estudo pretende ser uma contribuição para a área da avaliação e para a prática da meta-avaliação. === [en] Assuring the quality of an evaluation is a great challenge to evaluators. The evaluation of an evaluative process is called meta- evaluation. In Brazil there is a great concern about evaluation quality, although the concept of metaevaluation is new. Evaluation professionals are still discussing the criteria of excellence that a true evaluation should attend. The standards defined by the Joint Committee on Standards for Educational Evaluation (1994) that are presented in terms of utility, feasibility, ethics and accuracy, enlighten on that discussion. This study presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic concepts. The methodology is composed of an instrument for data collection (checklist for the meta-evaluation of programs/projects) and of a hierarchical fuzzy inference system for treatment of data related to the metaevaluation of projects and programs. The main advantages of using such a system are: (i) the possibility of working with linguistic rules; (ii) the use of tools that deal with the intrinsic imprecision of complex problems, as is the case of metaevaluation; (iii) the incorporation of subjective knowledge (of specialists); (iv) the adaptability of the inference process to specific situations. This new methodology makes use of a system composed of 36 rule bases organized in three levels: standard (level 1), category (level 2), and meta- evaluation (level 3). The main features of the proposed methodology are: (i) the data collection instrument, that allows intermediate answers; (ii) the fuzzy system's capability of adaptation to specific needs; (iii) the transparency provided by the use of linguistic rules, which favours understanding and discussion of the whole process. It is believed that this methodology will make the meta-evaluation process easier. This study intends to be a contribution to evaluation as a subject and to meta- evaluation practice.