| Summary: | O Exame Nacional do Ensino Médio (ENEM) está entre os maiores do mundo, abrangendo seis milhões de pessoas ao ano. Um de seus objetivos é permitir a comparação das escolas brasileiras, através da publicação de médias, tornando-se peça central na política brasileira de accountability escolar. Há, contudo, críticas técnicas e filosóficas ao uso do ENEM como indicador de qualidade escolar. Investigamos o potencial alcance de tais críticas, assim como possíveis efeitos benéficos do ranking de escolas. Pressupomos que o processo educativo na democracia é uma relação intersubjetiva, com finalidades e estratégias minimamente definidas pelas pessoas envolvidas. METODOLOGIA: buscamos articular uma reflexão filosófica sobre as questões sócio-políticas da escolarização com métodos quantitativos. Realizamos análise multinível dos microdados do ENEM 2009 em três níveis: indivíduo, escola e estado. Estimamos o efeito escola, o efeito estado e a variância explicada. Analisamos algumas edições do ENEM com base na Teoria Clássica dos Testes e na Teoria da Resposta ao Item. RESULTADOS: identificamos diversas concepções de inteligência e de qualidade escolar, sendo poucas delas contempladas pelos indicadores baseados em testes padronizados. Mostramos que a supervalorização desses testes cria o risco de colonização do cotidiano escolar pela razão instrumental, empobrecendo as relações intersubjetivas e as práticas pedagógicas. Identificamos riscos de se utilizar o mesmo teste para diversas finalidades. Constatamos a existência de dois modelos de ENEM, antes e depois de 2009. A análise multinível revelou um efeito escola em torno de 22%; controlando o nível socioeconômico ele reduz para 7%. Cerca de 20% da variação nas notas dos alunos foi explicada por fatores contextuais. No nível das escolas, o valor aumenta para 79%. Excluindo as notas de redação, como no ranking de 2012, a variância explicada chega a 87%, demonstrando que o desempenho da escola é altamente influenciado por fatores que não estão sob seu controle. Constatamos também que as médias entre escolas próximas no ranking não são estatisticamente diferentes. CONCLUSÕES: embora o ENEM possa avaliar o mérito dos alunos, é pouco informativo sobre o mérito das escolas, sendo inadequado para avaliar, isoladamente, a qualidade dessas instituições. Apontamos alguns limites do ranking como indicador de qualidade escolar (grande sobreposição de intervalos de confiança; supervalorização de um único exame; pouca informação sobre o mérito da escola; risco de empobrecer o currículo e as relações intersubjetivas no cotidiano escolar; risco de aumentar as desigualdades) assim como algumas possibilidades criadas por ele (referência objetiva para comparação, sinalizar para o ensino médio não focar excessivamente na quantidade de conteúdos; mobilização pela qualidade escolar; criação de outros indicadores). Disponibilizamos uma seleção das melhores instituições de ensino médio em termos de efeito escola, com objetivo de dar visibilidade àquelas que provavelmente realizam um bom trabalho dentro das condições em que se encontram. === The national secondary Brazilian examination (ENEM) is one of the largest standards in the world, covering six million people every year. One of his goals is to allow comparison of schools, thus being a central piece in the Brazilian school accountability system. However, there are technical and philosophical criticism to use ENEM as an indicator of school quality. We investigate the potential scope of such criticisms, as well as potential beneficial effects of school league tables. We assume that the educational process in democracy is an intersubjective relationship with purposes and strategies minimally defined by people involved in it. METHODS: we seek to articulate a philosophical reflection on the socio-political issues of schooling with quantitative methods. We conducted multilevel analysis of ENEM 2009 microdata at three levels: individual, school and state. We estimate the school effect, the \"state effect\" and explained variation. We analyse some ENEM exams based on Classical Test Theory and Item Response Theory. RESULTS: we identified several concepts of intelligence and school quality, few of them covered by indicators based on standards. We show that overvaluating standards creates the risk of colonizating everyday school life by instrumental rationality, making interpersonal relationships and pedagogical practices poorer. We identified risks of using the same test for different purposes. We found two ENEM models: before and after 2009. The multilevel analysis revealed a school effect around 22%; controlling socioeconomic status reduces it to 7%. About 20% of the variation in student scores was explained by contextual factors. At the school level, the figure rises to 79%. Excluding the writing test, as in 2012 league table, the explained variation reaches 87%, showing that school score is highly influenced by factors they can not control. We also showed that the averages between neighboring schools in the league table are not statistically different. CONCLUSIONS: Although ENEM can evaluate the merit of the students, it tells little about the merits of the schools. Therefore, it is inappropriate to evaluate, alone, the quality of these institutions. We point out some limitations of ENEM as school quality indicator (confidence intervals overlapping; overvaluation of a single test; few information on the merits of school; risk of impoverishing the curriculum and interpersonal relationships in school life; risk of increasing inequalities) as well as some possibilities created by it (objective reference for comparison; message to schools not overly focus on amount of contents; mobilization for school quality; creation of other indicators). Accordingly, we provide a selection of the best Brazilian high schools in school effect, aiming to give visibility to institutions that do a good job in not necessarily good conditions.
|
|---|
