| Summary: | Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção. === Made available in DSpace on 2012-10-22T14:46:07Z (GMT). No. of bitstreams: 1
231045.pdf: 1248182 bytes, checksum: b403ecaff21ff5f7ab729e3a11026093 (MD5) === Modern concepts of educational evaluation determine as its main purpose the assessment of quality of the educational object under evaluation, with focus on the value and merit of the object. By value is meant the extent to which the object satisfies the stakeholders' necessities and by merit the extent to which it complies with criteria and standards established by stakeholders. It is assumed that (i) value and merit are necessary conditions for an educational object to exhibit quality; (ii) effectiveness and relevance are necessary conditions for it to exhibit value and; (iii) efficiency and efficacy are necessary conditions for it to exhibit merit. The literature reveals that higher education evaluation developed in different countries follows similar paths and that it converges to quality control and improvement. The Higher Education Evaluation System in Brazil also intends to assess the quality of institutions and undergraduate programs. This study analyses how capable this system is in evaluating undergraduate program quality and answers the following research question: How can we make a meta-evaluation of the undergraduate programs' evaluation processes, focused on their ability to evaluate the quality of a program? The thesis drawn, as an answer to this problem, is that meta-evaluation of an evaluation process of undergraduate programs focused on its ability to evaluate the quality of a program is possible by means of an evaluation that verifies the efficacy, efficiency, effectiveness and relevance of the process. The general objective of this research was to construe a meta-evaluation model of the Brazilian undergraduate programs evaluation process with the understanding that efficacy, efficiency, effectiveness and relevance of this process are necessary criteria for this process quality. This study has a qualitative approach and was developed in two stages: theoretical research and empirical research. The first is characterized by its exploratory and descriptive purpose and by its bibliographic and documental procedures. The second is characterized by its evaluative research purpose and by its documental research procedures with an analytical-interpretative outline, based on content analysis and argumentation. The example of the empirical application of the Meta-Evaluation Model being proposed was limited to the Evaluation Process of the Undergraduate Programs developed by the Brazilian Ministry of Education (MEC), represented by the Evaluation of Teaching Conditions as well as by the National Program Exam, applied in 2002 to the undergraduate Administration programs. The results of the application of the Model reveal that the Evaluation Process of the Undergraduate Programs used by MEC in 2002 to evaluate the Administration Programs is not a quality evaluation process because it is not efficient and effective, and thus, does not exhibit merit and value. This research is relevant from the theoretical and practical point of view because it can contribute to a deeper comprehension of higher education evaluation in Brazil. The methodology used to construe the Meta-Evaluation Model can help fill the need for systematic research about educational evaluation, provide information to instigate a re-discussion of the current evaluation system in Brazil, and serve as a parameter to improve the evaluative praxis of higher education in Brazil. The most important limitations are theoretical and methodological. The former are related to the theoretical and conceptual framework and the latter derive from the difficulties pertaining to the qualitative method of research, in relation to data interpretation and analysis.
Os conceitos mais recentes de avaliação educacional determinam como seu principal objetivo o ajuizamento da qualidade de um objeto educacional tendo por foco o seu valor e mérito, entendendo-se, por valor, a extensão em que o objeto satisfaz às necessidades dos stakeholders, e, por mérito, a medida em que ele atende a critérios e padrões estabelecidos pelos stakeholders para ser considerado um objeto educacional de qualidade. Assume-se que valor e mérito são condições necessárias para um objeto educacional exibir qualidade em educação, sendo efetividade e relevância condições necessárias para ele ter valor e eficiência e eficácia condições necessárias para ele ter mérito. A literatura revela que a avaliação do ensino superior desenvolvida em diferentes países percorre caminhos bastante semelhantes e que ela converge para o controle e a melhoria da qualidade. O Sistema de Avaliação da Educação Superior brasileiro também pretende aferir a qualidade das instituições e dos cursos de graduação. Questiona-se a capacidade desse Sistema avaliar a qualidade de cursos de graduação e estuda-se como problema de pesquisa a questão: Como realizar uma meta-avaliação de processos de avaliação de cursos de graduação, focada em sua capacidade de avaliar a qualidade do curso? A tese demonstrada como resposta ao problema posto é que a meta-avaliação de um processo de avaliação de cursos de graduação, focada na sua capacidade de avaliar a qualidade de um curso, pode ser realizada por meio de uma avaliação que verifique a eficácia, a eficiência, a efetividade e a relevância do processo. O objetivo geral da pesquisa realizada era construir um modelo de meta-avaliação de processos de avaliação de cursos de graduação, que contemplasse um conceito de qualidade educacional baseado nos critérios de eficácia, eficiência, efetividade e relevância. O estudo tem abordagem qualitativa e foi desenvolvido em duas etapas. A primeira se constituiu de uma pesquisa teórica e a segunda de uma pesquisa empírica. A pesquisa teórica caracteriza-se, pelos seus objetivos, como exploratória e descritiva e, pelos seus procedimentos, como pesquisa bibliográfica e documental. A pesquisa empírica caracteriza-se, pelos seus objetivos, como pesquisa avaliativa e, pelos seus procedimentos como pesquisa documental, com delineamento analítico-interpretativo baseado em análise de conteúdo e argumentação. A exemplificação da aplicação empírica do Modelo de Meta-Avaliação proposto delimitou-se ao Processo de Avaliação dos Cursos de Graduação executado pelo Ministério de Educação do Brasil, representado pela Avaliação das Condições de Ensino e pelo Exame Nacional de Cursos, realizados para a área de Administração em 2002. Os resultados da aplicação do Modelo revelaram que o Processo de Avaliação dos Cursos de Graduação, empregado pelo MEC em 2002 para avaliar os cursos de Administração, não é um processo de avaliação com qualidade, visto que ele não se mostrou eficiente e efetivo, e, conseqüentemente, que ele não exibiu mérito e valor. A pesquisa tem relevância do ponto de vista teórico e prático, pois ela pode contribuir para uma compreensão mais exaustiva da avaliação da educação superior no Brasil e a metodologia de construção do Modelo de Meta-Avaliação pode suprir parte da carência de pesquisas sistemáticas sobre avaliação educacional, pode prover informações que possam instigar a rediscussão do sistema de avaliação brasileiro vigente e pode servir de parâmetro para a melhoria da práxis avaliativa do ensino superior no Brasil. As limitações mais importantes são teórico-metodológicas, sendo as primeiras relacionadas à base teórico-conceitual adotada e as últimas às dificuldades próprias do método qualitativo de pesquisa, com relação à interpretação e análise dos dados.
|
|---|
