Stratégie pour identifier et sélectionner des indicateurs de résultats pour un programme : expérimentation à partir du programme Fluppy visant le développement des habiletés sociales d'élèves en milieu défavorisé

• Main Author: Tremblay, Jenny
• Other Authors: Sévigny, Serge
• Format: Doctoral Thesis
• Language: French
• Published: Université Laval 2018
• Subjects: LB 5.5 UL 2018; Évaluation de programme > Études de cas; Indicateurs éducationnels > Études de cas; Évaluation en éducation > Études de cas; Habiletés sociales > Québec (Province) > Québec > Évaluation > Études de cas; Administration scolaire > Prise de décision > Études de cas
• Online Access: http://hdl.handle.net/20.500.11794/29812

Cette thèse contribue à l’avancement des connaissances dans le domaine de l’évaluation de programme en présentant une nouvelle stratégie de développement d’indicateurs de résultats. Une hypothèse de recherche a été dégagée à la suite d’une revue de littérature en évaluation de programme et de certaines lacunes observées dans la pratique, dont un fonctionnement de travail en silo chez les groupes d’expertise concernés par l’évaluation de programme et un manque de soutien et d’accompagnement pour « faire du sens » avec toute l’information nécessaire à cet exercice. Une stratégie d’identification d’indicateurs de résultats de programme pertinente, faisable et efficace a été élaborée dans un premier temps pour soutenir le travail de l’évaluateur et, dans un deuxième temps, pour favoriser l’utilisation des résultats de l’évaluation dans la prise de décision pour les gestionnaires de programme. La stratégie proposée, qui se veut un processus itératif novateur, repose sur une modalité de réalisation particulière basée sur l’accompagnement et quatre étapes importantes à respecter : 1 re étape : utiliser le modèle logique de programme « détaillé » pour documenter le programme et son contexte de mise en œuvre, et communiquer; 2 e étape : consulter les groupes d’acteurs concernés par le programme pour élaborer une liste d’indicateurs potentiels qui serviront à apprécier le programme; 3 e étape : identifier et classer les indicateurs selon les composantes du programme concerné et 4 e étape : apprécier les indicateurs retenus selon les caractéristiques de pertinence, de faisabilité et d’importance accordée par les acteurs concernés par le programme. Un programme à évaluer ainsi qu’un milieu de pratique ont été choisis pour expérimenter la stratégie d’identification de résultats de programme. Au total, 39 personnes ont participé dont 27 pour expérimenter la stratégie et 12 pour valider les indicateurs de résultats identifiés par le groupe expérimental. Les principaux résultats qui se dégagent de l’expérimentation montrent que la stratégie proposée est pertinente, réalisable et efficace pour identifier des indicateurs de résultats de programme qui sont pertinents, faisables et importants pour les acteurs concernés par le programme Fluppy. Grâce à la stratégie, 45 indicateurs de résultats ont été identifiés par les acteurs concernés par le programme Fluppy, programme de développement des habiletés sociales pour les enfants de maternelle d’écoles ayant un indice de défavorisation élevé. Tous ces indicateurs ont eu un score moyen variant entre 3,43 et 4,86 sur 5 pour la pertinence, entre 2,57 et 4,50 pour la faisabilité, et entre 3,29 et 4,64 pour l’importance accordée par les acteurs. La discussion a permis également de pousser plus loin l’analyse des résultats et de mettre en évidence des améliorations à apporter aux cinq éléments mis en place lors du développement de la stratégie. === This thesis contributes to the advancement of knowledge in the area of program evaluation by presenting a new strategy for the development of outcome indicators. A research hypothesis was formulated following a literature review on program evaluation and some of the shortcomings observed in practice, a research hypothesis regarding the method used by the expert groups involved in the evaluation, as well as a lack of support and collaboration between these groups to "make sense" of all the information needed for this exercise was uncovered. Firstly, a relevant, feasible and effective strategy for identifying outcome indicators was developed in order to support the work of the evaluator and, secondly, to promote the use of the evaluation results in decision-making for program managers. The proposed strategy, which hopes to be an innovative and iterative process, is contingent on a specific procedure of implementation based on accompaniment and four important stages : 1 st stage : use the detailed logical model of the program in order to document the program, the context of its implementation and to communicate; 2 nd stage : consult the stakeholders concerned with the program to design a list of potential indicators which will serve to appraise the program; 3 rd stage : identify and classify the indicators according to the components of the relevant program and 4 th stage : appraise the retained indicators according to the characteristics of relevance, feasibility and weight accorded to by the stakeholders concerned with the program. To carry out this research, a program to be evaluated, as well as a practice environment were chosen to experiment the strategy of identifying program results. From a total of 39 participants, 27 experimented the strategy and 12 validated the outcome indicators that were identified by the experimental group. The main results from the experiment show that the devised strategy is relevant, feasible, and reliable to indentify indicators of program results which are relevant, feasible and important to the stakeholders concerned by the FLUPPY program. 45 outcome indicators have been identified by the actors involved in the Fluppy program, a social skills development program for kindergardeners in schools with a high poverty index. All these indicators had an average score varying between 3.43 and 4.86 for relevance, between 2.57 and 4.5 for feasibility and between 3.29 and 4.64 regarding the importance given by the actors. The discussion also served to further analyze the results and to highlight improvements needed to establish the five elements implemented during the development of the strategy.