Les mammographies annuelles chez les femmes de plus de 50 ans permettent-elles de réduire la mortalité associée au cancer du sein ? Doit-on ouvrir des cliniques d’injection supervisées pour toxicomanes ou investir davantage dans les soins de fin de vie ? Les programmes de promotion de saines habitudes de vie permettent-ils de réduire les coûts de santé à long terme ? Voilà un inventaire restreint des nombreuses questions que nos sociétés se posent, depuis quelques décennies, en matière de santé et de services sociaux. Pour tenter de répondre à ces questions, le champ de l’évaluation de programme s’est développé et raffiné au point de devenir une discipline à part entière. La seconde édition de l’ouvrage de David E. Grembowski, intitulé The practice of health program evaluation et publié en 2016, expose les rudiments de l’évaluation de programmes en santé.

Dans cet article, nous proposons une recension de cet ouvrage articulée en trois temps. Nous en présenterons d’abord une synthèse, pour ensuite en faire une critique. Nous terminerons par une discussion autour du potentiel d’utilisation de ce livre, tant en contextes universitaire que professionnel.

D’entrée de jeu, Grembowski, de la University of Washington, propose la métaphore d’une « pièce de théâtre en trois actes » pour décrire le processus d’une évaluation de programme. En effet, pour l’auteur, ce type de démarche met en scène divers enjeux politiques avec lesquels les acteurs (bénéficiaires, intervenants, évaluateurs, gestionnaires, administrateurs, etc.) doivent inévitablement composer. L’acte 1 de cette prestation consiste à formuler des questions évaluatives, alors qu’à l’acte 2, l’évaluateur cherche à y répondre. Finalement, à l’acte 3, les réponses obtenues sont réinvesties, par différents acteurs, à des fins de prise de décisions. La description de ces trois actes forme la structure principale de l’ouvrage, soit trois sections. Ces dernières sont précédées d’une brève introduction aux chapitres 1 et 2, puis suivies d’un compendium, à la toute fin, pour clore l’ouvrage.

Dans le chapitre 1, Grembowski définit les deux types d’évaluation en santé : l’évaluation de programmes et l’évaluation de systèmes. Il met aussi en relief les facteurs ayant contribué à la genèse et au développement rapide de ce champ d’expertise, notamment la multiplication du nombre de programmes sociosanitaires, la limitation des ressources, l’obligation de reddition de comptes, le développement d’une pratique médicale fondée sur des données probantes, etc.

Au chapitre 2, Grembowski décrit de manière plus précise les trois phases de l’évaluation ainsi que le rôle particulier de l’évaluateur dans un tel exercice. Il aborde en outre les notions de standards d’évaluation ainsi que d’enjeux éthiques et culturels.

Le contenu de l’acte 1, « Formuler les questions évaluatives », est approfondi dans le chapitre 3. Pour y parvenir, Grembowski propose quatre étapes, à savoir : 1) la spécification de la théorie du programme, 2) la spécification des objectifs spécifiques du programme, 3) la traduction de ces spécifications en questions d’évaluation, et, finalement, 4) la sélection de questions clés qui guideront les suites de la démarche. Vu l’importance pour l’auteur de la spécification de la théorie du programme, un accent particulier y est accordé avec la présentation détaillée de deux modèles conceptuels : la théorie de la cause à effet et la théorie de la mise en oeuvre.

Vient ensuite la part la plus substantielle de l’ouvrage, celle consacrée à l’acte 2, « Répondre aux questions évaluatives ». Six chapitres forment cette section. Les chapitres 4 à 6 exposent les principaux devis de recherche pertinents en évaluation de programmes en santé, c’est-à-dire les études d’impact, les analyses coût-efficacité et les études d’implantation d’un programme. Les chapitres 7 à 9 présentent les notions statistiques nécessaires à la mise en oeuvre de ces devis.

Inspiré des travaux de Donald Thomas Campbell, de William Shadish et ses collaborateurs ainsi que de Donald Rubin et Judea Pearl, le chapitre 4 présente les devis quasi expérimentaux et expérimentaux utiles pour la réalisation d’études d’impact. Pour chacun des modèles présentés, les biais potentiels à la validité interne sont discutés. L’auteur nous propose ensuite une section traitant de la validité des conclusions statistiques. Il termine avec une discussion autour de la généralisabilité, dans laquelle les menaces potentielles à la validité de construit et à la validité externe sont exposées. Au terme de ce chapitre, 37 biais potentiels ont été abordés.

Pour sa part, le chapitre 5 traite des analyses coût-efficacité. Afin de bien guider les évaluateurs, il découpe ce type de processus évaluatif en 11 étapes. L’auteur y décrit aussi un outil précieux pour la prise de décisions : le ratio coût-efficacité.

Après avoir exposé les enjeux particuliers liés à l’évaluation de l’implantation d’un programme, l’auteur présente, au chapitre 6, les devis et méthodes permettant de mener à bien une recherche évaluative de ce genre. Les devis de types descriptif, explicatif, transversal et longitudinal sont expliqués et mis en lien avec les méthodes de collecte et d’analyse de données pertinentes dans ces contextes, à savoir les méthodes quantitatives, qualitatives et mixtes. Les principes de base de ces méthodes sont exposés. Mentionnons au passage l’insistance de l’auteur sur le lien entre rigueur et triangulation. Finalement, deux types d’évaluation d’implantation sont discutés : le suivi de la mise en oeuvre d’un programme et l’explication des effets d’un programme (positifs, négatifs, non attendus, etc.).

La partie statistique, visant à guider la mise en oeuvre des devis proposés, est introduite au chapitre 7. Les notions de population, d’échantillon, de méthodes d’échantillonnage aléatoires et non aléatoires, de taille d’échantillon minimale, de risque d’erreur et de puissance statistique y sont exposées. Par la suite, au chapitre 8, les méthodes de collecte de données associées aux évaluations quantitatives et qualitatives sont présentées. En ce qui concerne les évaluations quantitatives, les notions de concept, d’instrument de mesure, de validité, de fidélité, de variables et d’échelles de mesure sont expliquées. Pour les recherches qualitatives, l’auteur aborde les méthodes de collecte de données et les méthodes d’analyse de manière concomitante, les jugeant indissociables dans ce type de recherche. Les questions de validité et de fidélité propres à la recherche qualitative sont aussi discutées.

Pour clore la partie statistique et, par le fait même, la section consacrée à l’acte 2, l’auteur propose un survol des méthodes d’analyse de données quantitatives au chapitre 9. Il insiste sur l’importance de s’en tenir à un plan d’analyse de données prédéfini, destiné à répondre spécifiquement aux questions évaluatives. Les notions de données manquantes, d’analyses descriptives, bivariées et multivariées, ainsi que de variables médiatrices et modératrices sont aussi introduites.

Dans le chapitre 10, l’auteur procède à la présentation de l’acte 3, « Réinvestir les réponses obtenues à des fins de prise de décisions », étape des plus importantes pour l’évaluateur. Afin de mener à bien cette étape, Grembowski nous propose de traduire les réponses obtenues en langage politique, par l’intermédiaire de recommandations, pour ensuite établir et mettre en oeuvre un plan de diffusion. Il émet plusieurs conseils afin d’augmenter la probabilité que les données de recherche évaluatives soient bel et bien utilisées et réinvesties. À la toute fin de l’ouvrage, l’auteur propose une compilation regroupant, en quelque sorte, les « règles d’or » de l’évaluation de programmes en santé.

Il convient, en tout premier lieu, de mentionner que l’ouvrage se démarque par son pragmatisme et par sa clarté. L’utilisation de la métaphore de la « pièce en trois actes » fournit un ancrage simple et efficace qui permet de saisir et de retenir aisément la logique d’un processus d’évaluation. En outre, les nombreux schémas et tableaux résumés insérés dans les chapitres en facilitent la lecture et la compréhension. De surcroît, le niveau de langage, épuré de termes techniques, rend l’ouvrage facilement accessible.

En ce qui concerne le contenu, la présentation détaillée, au chapitre 3, des étapes permettant de définir les questions évaluatives est fort éclairante et permet de bien saisir l’importance de cette assise dans le bon déroulement d’une évaluation de programme. Cependant, la force majeure de l’ouvrage réside probablement dans l’acte 2, avec la présentation des devis de recherche évaluatifs disponibles et des menaces potentielles à leur validité interne, externe et statistique. Cette présentation, à la fois claire et exhaustive, fait de l’ouvrage une référence fort utile, à laquelle le lecteur reviendra assurément de façon fréquente.

Bien qu’ils n’entachent en rien la grande qualité de cet ouvrage, certains aspects pourraient faire l’objet d’une bonification lors d’une édition subséquente. Dans le premier chapitre, il aurait été intéressant d’ajouter une brève présentation des principaux courants ayant marqué l’évaluation de programme depuis ses débuts, tant en sciences sociales qu’en éducation et en santé. En effet, cette présentation permettrait à un lecteur débutant dans le domaine d’obtenir une vue d’ensemble de ce champ d’expertise, d’en constater la diversité, pour enfin revenir à une approche des plus pratiques : celle préconisée dans l’ouvrage. Dans un même ordre d’idées, une bonification pourrait être apportée au chapitre 9, avec une présentation plus détaillée des outils disponibles en analyse de données, tant qualitatives que quantitatives. En effet, au terme de ce chapitre, le lecteur reste quelque peu sur son appétit en ce qui a trait aux options disponibles pour le traitement des données recueillies.

Grâce à son approche pragmatique, à la clarté de ses propos, à ses nombreux schémas et résumés ainsi qu’à la couverture exhaustive des devis de recherche disponibles en évaluation de programmes en santé, ce livre constitue une option fort intéressante comme ouvrage de référence dans un contexte de formation universitaire aux cycles supérieurs, aussi bien en santé qu’en sciences sociales ou en éducation. En effet, bien que les exemples soient issus du monde de la santé, leur facilité de compréhension rend l’ouvrage assurément transférable à ces autres disciplines. Finalement, en offrant un portrait global de l’état actuel de la discipline, cet ouvrage devient un incontournable pour tout enseignant, chercheur ou professionnel oeuvrant dans le domaine de l’évaluation de programmes.