| Summary: | === Introduction: The skills necessary to the education of medical students involve the acquisition of intellectual qualities, the development of clinical abilities and the incorporation of attitudes and ethical awareness. These skills should be developed throughout the course and the students performance should be evaluated periodically to ensure that the institution is producing ethical, humane, competent healthcare professionals able to adequately meet the needs of the population. The evaluation process, however, is complex and professors must seek the best way to be fair and impartial based on personal criteria.Objectives: The aim of the present study was to analyze essential skills in pediatrics and the evaluation process in the medical course of the Universidade Federal de Minas Gerais (UFMG, Brazil), identify difficulties in the evaluation of students and determine the feelings, concepts and beliefs of professors of medicine in relation to subjective evaluations.Method: A questionnaire addressing specific skills in medicine was designed in a joint effort with the Permanent Evaluation Commission of the UFMG School of Medicine, with nine subscales containing 67 items addressing attitudes and clinical abilities. A Likert-scale was used to score the responses, for which 1 denoted that the student did not require the theoretical content in question and 5 denoted that the student should be able to perform the task in question with autonomy and security. Sixty-four professors of the pediatrics department, 30 professionals working in strategic locations in pediatric care and 428 students in the last year of medical school answered the questionnaire. The Students t-test was used to compare responses. As the end of the pediatric internship, 476 students were evaluated using the Objective Structured Clinical Examination (OSCE) and their scores were compared to their answers on the questionnaire. Two other assessment tools were used (written test and service evaluation), which were compared to the OSCE results using Pearsons correlation coefficient. Three focus groups were formed by professors of the pediatrics department of the UFMG School of Medicine. The meetings were moderated by a professor with experience with focus groups and assisted by the researcher. At the beginning of each meeting, the moderator posed three issues to the group: the concept of evaluation; the fact that evaluations are not in the forefront of the curricula or teaching plans; and difficulties and facilitating factors encountered in the evaluation process. Results: The questionnaire demonstrated good internal consistency (Cronbachs alpha: 0.94/0.96/0.95). The mean and median values of the participants responses on the nine subscales that make up to questionnaire were similar. A significant difference was detected in the participants responses only on subscale 7 execution of procedures (p-value = 0.003). The comparison of students scores on the questionnaire and those on the OSCE revealed coherence between the responses marked and attitudes toward patients on the subscales respect of biosafety norms and suitable treatment of patients. The higher scores on the responses of the questionnaire indicate greater expectations on the part of students regarding the autonomous, secure execution of clinical abilities, which was not demonstrated on the performance assessment by the OSCE. The students received good evaluations on the written test and through direct observation during service activities. Both evaluationsdemonstrated a positive albeit weak correlation with the OSCE, as determined by Pearsons correlation coefficient. In the focus groups, discourses were categorized in five overall topics: difficulty in the evaluation of clinical abilities and attitudes; the professor-student relationship; feelings experienced by teaching staff during evaluations; facilitating factors; and the need for changes. Conclusions: Students, professors and professional physicians who treat children and adolescents have similar expectations regarding the specific skills needed for pediatric practice. Based on the OSCE evaluation, students at the end of the medical course have not achieved these skills to the point of performing their tasks with autonomy and security. However, these students achieved good mean scores on the written exam and service assessment. With regard to evaluating students, the teaching staff feels a lack of well-defined objectives, structuring of the process and specific evaluation tools. Professors recognize the need for better pedagogic knowledge and seek to be as fair as possible with students during evaluations. Professors consider evaluations to be a lonely act and without the backing of the institution when they need to fail a student. === Introdução: As competências necessárias à formação do estudante de medicina correspondem à aquisição de qualidades intelectuais, ao desenvolvimento de habilidade clínica e à incorporação de atitudes e consciência ética. Essas competências devem ser desenvolvidas durante o curso e o desempenho do estudante avaliado regularmente, assegurando que a instituição está formando profissionais éticos, humanos e competentes, para dar respostas adequadas às necessidades de saúde da população. O processo avaliativo, no entanto, é complexo, despertando sentimentos nos professores que buscam em critérios pessoais a melhor maneira de serem justos e imparciais. Objetivos: Analisar as competências essenciais em Pediatria e seu processo de avaliação no curso médico da UFMG e identificar as dificuldades na avaliação dos estudantes, procurando conhecer os sentimentos, conceitos e crenças dos professores de medicina em relação à avaliação subjetiva. Método: Construiu-se um Questionário de Competências Específicas em Medicina em conjunto com a Comissão Permanente de Avaliação (CPA) da Faculdade de Medicina da UFMG, que inclui nove blocos contendo 67 questões relacionadas a atitudes e habilidade clínica. Para pontuar as respostas, utilizou-se uma escala de Likert, onde o número 1 significou: o aluno não precisa desse conteúdo teórico, e o número 5: o aluno deve saber fazer com autonomia e segurança. Esse questionário foi respondido por 64 professores do Departamento de Pediatria, 30 profissionais que trabalham em locais estratégicos do atendimento pediátrico e 428 estudantes do ultimo ano do curso médico. As respostas foram comparadas entre si pelo teste t-student. Ao final do Internato de Pediatria, 476 estudantes foram avaliados pelo OSCE (Objective Structured Clinical Examination) e suas notas comparadas com suas respostas ao questionário. Utilizou-se outros dois instrumentos de avaliação, a prova escrita e a avaliação em serviço que foram comparados com o OSCE pelo coeficiente de correlação de Pearson.Foram conduzidos três grupos focais, com professores do Departamento de Pediatria da Faculdade de Medicina da UniversidadeFederal de Minas Gerais. As reuniões tiveram como moderadora uma professora experiente na técnica de grupo focal, auxiliada pelo pesquisador. No inicio de cada encontro, a moderadora colocou três questões ao grupo: o conceito de avaliação, o fato de ser colocada em segundo plano nos currículos e nos planejamentos didáticos e as dificuldades e fatores facilitadores na avaliação. Resultados: O questionário demonstrou boa consistência interna. (Alfa de Cronbach 0,94/0,96/0,95). As médias e medianas das respostas dos participantes, nos nove blocos que compõem o Questionário, mostraram-se semelhantes. Verificou-se diferença significativa nas respostas dos entrevistados somente no Bloco 7 Realização de procedimentos (valor-p = 0,003). A comparação entre os valores atribuídos na escala Likert pelo estudante e as notas obtidas na avaliação do OSCE mostrou que nos blocos: respeito às normas de biossegurança e adequação no trato com o paciente, existe coerência entre as respostas assinaladas e as atitudes frente ao paciente. As maiores notas nas respostas do questionário indicam expectativas mais elevadas dos estudantes na execução autônoma e segura de habilidades clínicas, que não foram comprovadas na avaliação de desempenho pelo OSCE. Os estudantes foram bem avaliados na prova escrita e na avaliação em serviço por observação direta, e ambas demonstraram correlação positiva, embora fraca, com o OSCE pelo coeficiente de correlação de Pearson.Nos grupos focais, o discurso foi categorizado em cinco grandes temas: dificuldade da avaliação de habilidade clínica e atitudes, relação professor-aluno, sentimentos vivenciados pelos docentes durante a avaliação, fatores facilitadores e necessidade de mudanças.Conclusões: Estudantes, professores e profissionais médicos que atendem crianças e adolescentes apresentam expectativas semelhantes em relação às competências específicas necessárias para a prática pediátrica. Os estudantes, ao final do curso médico na UFMG, na avaliação pelo OSCE, não atingiram essas competências no nível de realizá-las com autonomia e segurança, porém, obtiveram boas médias na prova escrita e avaliação em serviço. Com relação ao ato de avaliar o aluno, os docentes sentem falta de objetivos bem definidos, estruturação do processo e instrumentos avaliativos específicos. Reconhecem a necessidade de melhores conhecimentos pedagógicos e procuram ser os mais justos possível com o estudante durante a avaliação. Consideram o ato de avaliar como uma situação solitária e sem o respaldo da Instituição quando precisam reprovar algum aluno.
|
|---|
