Article body

L’évaluation est une démarche structurée qui consiste à recueillir et à analyser des informations sur une ou plusieurs initiatives à des fins d’apprentissage ou de prise de décision (Société canadienne d’évaluation, 2015). L’évaluation en contexte collectif se distingue des évaluations traditionnelles puisqu’elle cherche la participation pleine et équitable des parties prenantes impliquées dans des initiatives porteuses de changement social aux différentes étapes de l’évaluation (Coffman et Beer, 2011). La participation soutenue de ces parties prenantes à l’évaluation favorise l’appropriation du processus et des résultats de l’évaluation (Coffman et Beer, 2011), et contribue au renforcement des capacités individuelles et organisationnelles en matière d’évaluation collective (Preskill et Boyle, 2008).

Une communauté de pratique est définie par Tremblay (2005) comme « un groupe de personnes ayant en commun un domaine d’expertise ou une pratique professionnelle, et qui se rencontre pour échanger, partager et apprendre les uns des autres, face à face ou virtuellement » (p.52). La présence d’une communauté de pratique constitue une stratégie prometteuse pour renforcer les capacités des personnes responsables d’évaluations en contexte collectif (Garfield, 2020). C’est pourquoi en 2016 le collectif Dynamo (2021) a mis en place la toute première communauté de pratique en évaluation en contexte collectif (CdP-ECC). Cet espace unique d’échanges entre des personnes impliquées dans des initiatives porteuses de changement social cherche à créer une dynamique d’apprentissage réciproque à l’égard de l’évaluation en contexte collectif. La CdP-ECC a subi plusieurs changements depuis sa création, comme son passage en mode virtuel en raison des mesures sanitaires prises pour lutter contre la COVID-19. Face à ces changements, un bilan évaluatif a été réalisé en 2021 par une personne de Dynamo et par un membre volontaire afin d’apprécier le fonctionnement, la dynamique et les retombées de la CdP-ECC. Cet article décrit les apprentissages et les leçons apprises par la démarche d’évaluation utilisée. Ces dernières peuvent certainement être utiles afin d’améliorer d’autres initiatives similaires ou d’en planifier de nouvelles. L’article est divisé en quatre parties : une description détaillée de la CdP-ECC et des méthodes utilisées dans la démarche d’évaluation, les principales leçons apprises de l’évaluation ainsi qu’une conclusion.

Description de la communauté de pratique

Historique et contexte

La CdP-ECC est née en 2016 dans le cadre du Projet Impact collectif (Centraide du Grand Montréal, 2022). Ce projet se définit comme un accélérateur de changement qui vise à augmenter l’impact de la mobilisation et à obtenir des résultats mesurables et marquants sur la réduction de la pauvreté. Pour y arriver, 17 quartiers montréalais ont été choisis et soutenus de façon significative grâce à un investissement de 23 M$ sur cinq ans, provenant de neuf grandes fondations. La Coalition montréalaise des tables de quartier, la Ville de Montréal et la Direction régionale de santé publique de Montréal se sont unies comme partenaires et Centraide du Grand Montréal a été désigné comme le porteur de ce projet d’apprentissages. Afin d’aider les quartiers à évaluer les effets de leurs projets de changement, Dynamo offre à travers son programme ÉvalPIC (2022) un accompagnement personnalisé en évaluation ainsi que d’autres activités de renforcement des capacités évaluatives. La CdP-ECC, qui s’insère dans cette programmation, a pour objectif spécifique d’améliorer les compétences individuelles des membres participants en matière d’évaluation collective, leur permettant à moyen terme de développer de nouvelles pratiques et procédures en évaluation dans leurs organisations. Elle a permis, au cours des cinq dernières années, d’offrir un lieu d’échange, de réflexion et de partage de pratiques à une vingtaine de personnes, provenant de divers horizons (ex. pratique, recherche, secteur privé).

Fonctionnement des rencontres

Les membres de la CdP-ECC se rencontrent en moyenne quatre fois par an. Les dates des rencontres sont déterminées par l’entremise d’un sondage Doodle, un outil permettant d’identifier à partir des disponibilités des personnes répondantes le meilleur choix pour la tenue d’une rencontre. Les rencontres de la CdP-ECC sont généralement d’une durée de trois heures et s’organisent autour d’un thème portant sur l’évaluation en contexte collectif. Les thèmes abordés dans les rencontres sont choisis par les membres à la fin de chaque année. Au fil des ans, plus d’une quinzaine de thèmes ont été discutés, dont par exemple :

  • Les défis liés à la posture d’accompagnateur au moment de la détermination d’un objet d’évaluation en contexte collectif.

  • Les conditions favorables à l’évaluation ainsi que ses effets sur le comportement des acteurs (bailleurs de fonds, organismes évalués) et les relations qui les unissent.

  • La façon de faire l’évaluation de notre théorie de changement dans une perspective moins linéaire et en expérimentation constante.

  • L’utilisation des indicateurs et des données évaluatives face à la complexité dans une démarche d’évaluation collective.

  • La manière de renforcer les capacités évaluatives et de développer une culture d’évaluation dans les organisations.

  • Les pratiques prometteuses pour favoriser la participation des parties prenantes à l’évaluation en temps de pandémie.

Bien qu’une personne de Dynamo coordonne la tenue et le suivi des rencontres, l’organisation et l’animation se font en collaboration avec un membre différent, à chaque fois. On compte en moyenne 12 membres à chaque rencontre. Les échanges qui en émergent permettent aux membres de partager et de capter des expériences, des outils, des méthodes et des postures favorables à l’évaluation participative et évolutive. En 2020, le confinement lié à la pandémie de COVID-19 a forcé la CdP-ECC à se réorganiser et à tenir ses rencontres en mode virtuel, sur Zoom. Ce contexte a eu un effet considérable sur le mode d’animation et a été très enrichissant pour ses membres. Plusieurs plateformes collaboratives ont été utilisées et explorées (LOOMIO, MIRO, Jambord, Mentimeter, etc.) avec le constat que ces dernières sont des outils facilitants pour la collecte et le partage de données en contexte d’évaluation collectif.

Enfin, la CdP-ECC a annuellement mené un exercice bilan pour évaluer le chemin parcouru, mesurer le désir des membres de poursuivre l’expérience et cerner les sujets d’intérêts pour la suite. Considérant, d’une part, les changements apportés aux rencontres en raison de la pandémie et, d’autre part, l’arrivée à l’échéance de la première phase du Projet Impact collectif, la CdP-ECC a décidé, pour sa dernière année, d’effectuer un bilan évaluatif plus structuré afin d’en tirer des leçons éclairantes au sujet de son fonctionnement et de sa dynamique, de même que sur l’atteinte de ses objectifs. La prochaine section présente en détail la démarche utilisée dans le cadre de cette évaluation.

Méthodes utilisées lors du bilan

Le bilan évaluatif de la CdP-ECC s’est déroulé en deux temps. Dans un premier temps, les perceptions des membres quant au fonctionnement, à la dynamique et aux retombées de la CdP-ECC ont été recueillies par l’entremise d’un sondage en ligne. Une invitation à participer au sondage a été envoyée à l’ensemble des membres ayant participé à au moins une rencontre depuis les deux dernières années. Au total, dix personnes ont rempli le questionnaire, ce qui représente un taux de réponse de 71 %. Le sondage, d’une durée approximative de dix minutes, comportait 16 énoncés sur une échelle de type Likert en quatre points et trois questions ouvertes, permettant aux personnes répondantes d’approfondir leurs réponses au besoin. Le questionnaire d’évaluation des communautés de pratique conçu par Hamzeh et ses collègues (2019) a servi de point de départ pour concevoir le sondage utilisé dans l’évaluation de la CdP-ECC. Les énoncés du questionnaire les plus pertinents aux objectifs de l’évaluation ont été identifiés par les personnes responsables de l’évaluation pour ensuite être adaptés au contexte de la CdP-ECC. Des analyses statistiques descriptives ont été effectuées sur les données obtenues de façon à dégager des tendances et des informations pertinentes quant aux objectifs de l’évaluation.

Dans un deuxième temps, les membres de la CdP-ECC étaient invités à participer à une rencontre de type « bilan et perspectives » d’une durée de deux heures. Ce type de rencontre cherche à engager les parties prenantes d’un projet dans une démarche de co-construction des résultats et des pistes d’amélioration à privilégier (LaboÉval, 2022). Pour ce faire, une présentation a été conçue à partir des résultats du sondage les plus pertinents aux objectifs de la démarche d’évaluation. La présentation ne comportait aucune interprétation de données afin que les membres participants puissent en tirer leurs propres conclusions lors de la rencontre. Les neuf membres présents à la rencontre étaient invités à exprimer leurs opinions et leurs interprétations quant aux résultats obtenus au sondage, de même qu’à identifier des pistes d’amélioration possible. La prochaine section présente les leçons apprises qui émergent de cette rencontre.

Leçons apprises de l’expérience

Au niveau du fonctionnement et de la dynamique des rencontres

  • Les résultats du sondage ont montré que la grande majorité des membres apprécient le fonctionnement et la dynamique de la CdP-ECC. Par exemple, la presque totalité des personnes répondantes affirmait être soit motivées soit très motivées à participer aux rencontres de la CdP-ECC. La même proportion d’entre elles était d’accord que la CdP-ECC offre un climat agréable et propice à l’ouverture et à la créativité. Les échanges entre les membres ont permis d’approfondir les éléments qui contribuaient positivement au fonctionnement et à la dynamique de la CdP-ECC. Plusieurs d’entre eux ont affirmé que le passage au format virtuel a grandement facilité leur participation aux rencontres. À leur avis, le mode virtuel offre une formule plus flexible et mieux adaptée à leurs besoins de formation continue.

  • L’animation tournante est un autre aspect qui a grandement été apprécié par les membres. Selon eux, le partage des responsabilités liées à l’animation rend les rencontres plus dynamiques et leur offre la possibilité de jouer un rôle important dans la CdP-ECC. D’autres ont également mentionné que l’animation tournante leur a permis d’en apprendre davantage sur les intérêts, les forces et les compétences des autres membres en évaluation.

  • L’utilisation de différentes techniques d’animation et de différents outils de collaboration lors des rencontres est également un élément qui a contribué positivement au fonctionnement de la CdP-ECC. Selon les membres, leur utilisation a favorisé la créativité et facilité le travail collaboratif autour des activités et des thèmes proposés lors des rencontres. La CdP-ECC a permis à plusieurs membres d’expérimenter pour la première fois les outils et les techniques utilisées.

  • De nombreux membres considèrent toutefois la durée des rencontres comme étant trop longue. La durée des rencontres est d’autant plus une barrière importante pour ceux dont la participation à la CdP-ECC n’est pas reconnue par l’employeur. C’est pourquoi plusieurs d’entre eux proposent de réduire le temps des rencontres de trois heures à deux heures. À leur avis, deux heures suffisent pour approfondir les thématiques abordées lors des rencontres.

Au niveau des retombées de la CdP

  • Les résultats du sondage révèlent des retombées positives associées à la CdP-ECC. Par exemple, la majorité des personnes répondantes s’accordent à dire que leur participation aux rencontres leur a permis d’agrandir leur réseau professionnel et d’améliorer leurs pratiques évaluatives. Le renforcement des pratiques évaluatives est d’ailleurs l’un des principaux objectifs de la CdP-ECC.

  • La contribution de la CdP-ECC à l’amélioration des pratiques d’évaluation des organisations est toutefois moins évidente. En effet, les résultats au sondage montrent que la majorité des personnes répondantes considèrent que la CdP-ECC ne contribue pas de façon importante à l’élaboration de nouvelles pratiques en matière d’évaluation au sein de leur organisation. Elles sont également nombreuses à ne pas partager les nouvelles et les connaissances acquises lors des rencontres avec d’autres membres de leur organisation.

  • Les échanges entre les membres ont permis d’identifier une piste d’amélioration prometteuse sur cet aspect. Les membres souhaiteraient plus de temps et d’espace pour échanger sur les défis personnels et organisationnels qu’ils rencontrent en matière d’évaluation collective. À leur avis, l’ajout d’une période structurée, possiblement sous forme de tour de table, leur permettrait de profiter de l’expérience des autres pour trouver des solutions aux défis qu’ils rencontrent.

Conclusion

La CdP-ECC s’est réunie sur une base régulière au cours des cinq dernières années. La relation entre ses membres a été cordiale, propice à l’apprentissage et créative. Nous pouvons même dire qu’un réseau de référence s’est créé entre plusieurs des membres participants. Le bilan évaluatif a permis de constater à ce sujet que le format virtuel, l’animation tournante et l’utilisation de différentes techniques d’animation et outils de collaboration ont certainement contribué positivement au fonctionnement et à la dynamique des rencontres. Bien qu’il reste des pas considérables à faire pour que les apprentissages issus de cette communauté de pratique s’incarnent dans les organisations, les personnes participantes confirment l’effet ressenti de leur participation sur leur pratique évaluative personnelle et professionnelle. Bien que les activités de la CdP-ECC se terminent avec la fin de la première phase du Projet Impact collectif, nul doute que les apprentissages issus de cette démarche d’évaluation seront réinvestis dans la planification des prochaines activités visant le renforcement des capacités en évaluation.