Des critères sont clairement définis et énoncés a priori (en amont de l’examen des études) de manière à ce que l’identification, la sélection et l’évaluation des études soient transparentes, systématiques et exhaustives. Les motifs d’exclusion sont explicités et la liste des études exclues est publiée. Par exemple, le WWC classe les résultats des études identifiées en trois catégories : les résultats conformes sans réserve aux normes WWC, les résultats conformes avec réserve aux normes WWC ou les résultats non conformes aux normes WWC. Les résultats des études non conformes seront exclus de la méta-analyse. Nous verrons par la suite que l’évaluation des études retenues (les études conformes aux normes WWC) aura un impact sur la caractérisation de l’effet de l’intervention.

L’analyse statistique des données (qui sont les résultats publiés par les études primaires sélectionnées) peut alors débuter. Dans un premier temps et pour chacune des études sélectionnées, une taille d’effet est calculée; elle quantifie l’ampleur de l’effet de l’intervention sur les élèves mesurée par l’étude. Les tailles d’effet de chacune des études sont ensuite agrégées et une taille d’effet globale est calculée. Toutes ces tailles d’effet (calculées au niveau de chacune des études mais aussi au niveau de leur ensemble) sont ensuite transformées en indicateurs plus simples à comprendre dans le but d’en faciliter l’interprétation. Cet article détaillera plus particulièrement cette deuxième étape.

Les résultats statistiques sont enfin publiés sur des sites internet conçus pour s’adresser au grand public. Il est également possible de télécharger des rapports qui détaillent les procédures et les méthodes suivies, pour ceux qui souhaitent en savoir plus. Ce troisième point distingue nettement les méta-analyses des analyses primaires (d’audience le plus souvent restreinte à un cercle réduit de chercheurs) dont elles sont le fruit. Les sites internet comme Find What Works du WWC et Education Endowment Foundation sont de bons exemples de cet effort de communication.

L’ensemble des concepts et des méthodes mis en oeuvre pour réaliser des méta-analyses dans le domaine des sciences de l’éducation sont explicités de manière complète et détaillée dans The Handbook of Research Synthesis and Meta-Analysis (Cooper et al., 2019). Pour aller à l’essentiel, la lecture de Introduction to Meta-Analysis (Borenstein et al., 2009) permet de saisir le cadre méthodologique qui soutient la réalisation de ces synthèses quantitatives et plus particulièrement de comprendre les procédures statistiques déployées, mais aussi le sens à donner aux résultats. Les nombreux exemples résolus (pour lesquels des fichiers csv sont téléchargeables sur le site internet www.meta-analysis.com) font de cet ouvrage un outil pédagogique particulièrement utile aux néophytes. Enfin, la dernière version du WWC Procedures and Standards Handbook 5.0 (WWC, 2022) présente de façon claire et synthétique l’ensemble des formules applicables aux résultats des études sélectionnées dans ses annexes F et G.

Cet article n’a d’autre vocation que de proposer une initiation à certaines procédures d’analyse statistique en limitant volontairement leur champ d’application à des situations très simples. Les équations présentées ci-dessous qui permettent de calculer les estimations ponctuelles des tailles d’effet et d’estimer leur précision, dans un premier temps pour une étude primaire, puis pour en ensemble de ces études, ne permettent pas de traiter l’ensemble des questions auxquelles un méta-analyste doit faire face. Pour relever ce défi, une expertise professionnelle basée sur des connaissances approfondies en analyse statistique mais aussi sur une solide expérience du terrain est indispensable.

Les moyennes des populations seront estimées par les moyennes des échantillons m_a et m_b. Notons que c’est la différence des moyennes qui intéresse le chercheur ici et, dans les études utilisant un modèle de régression linéaire multiple, cette différence est égale au coefficient de corrélation de la variable indicatrice « intervention ». En ce qui concerne l’estimation de l’écart-type de la population σ, deux méthodes de calcul sont utilisées et ont donné naissance à deux familles d’estimations de δ : le d de Cohen (Cohen, 1988) et le g de Hedges (Hedges, 1981), d’une part, le Δ de Glass (Glass & Smith, 1977), d’autre part. Les dénominations fluctuent d’un article à l’autre : dans le cas présent, les définitions utilisées par Borenstein et al. (2009) ont été employées. Pour les deux premières, c’est l’utilisation (ou non) d’un facteur correctif pour des échantillons de petite taille qui fera la différence.

Quand il est raisonnable de penser que les écarts-types des groupes intervention et témoin sont des estimations de l’écart-type de la population, ce dernier est estimé par s l’écart-type groupé, qui est la racine carrée de la moyenne des variances pondérée par leurs degrés de liberté. Nous calculons alors d, une estimation de la taille d’effet δ :

En 1981, Hedges montre que le d de Cohen est biaisé (son espérance n’est pas égale à δ la taille d’effet de la population) et que ce biais est substantiel pour les échantillons de petites tailles[3]. L’estimation non biaisée est obtenue en multipliant d par un facteur multiplicatif correctif ω. Une nouvelle estimation de δ, le g de Hedges, ont alors obtenue :

C’est l’estimation utilisée par le WWC et EEF pour les études par comparaison de groupes utilisant des données continues avec affectation au niveau individuel. Pour des échantillons de grande taille, le facteur correctif ω est très proche de 1 et est souvent négligé.

Quand l’écart-type du groupe témoin (le groupe b) est une bonne estimation de l’écart-type de la population ou quand les écarts-types des groupes témoin et intervention sont très différents (et que l’écart-type groupé ne semble pas estimer correctement l’écart-type de la population), alors le Δ de Glass est utilisé pour estimer la taille de l’effet δ

Ce choix se justifie aussi en soulignant que, dans les études par comparaison de groupes, l’intervention influe sur la moyenne des scores, bien sûr, mais également sur leur écart-type, et qu’il est dans ce cas préférable d’utiliser l’écart-type du groupe témoin comme estimation de l’écart-type de la population. C’est par exemple l’option retenue par Slavin et al. (2009) dans leur méta-analyse sur les méthodes pédagogiques efficaces pour l’enseignement des mathématiques.

Le calcul des tailles d’effet s’effectue selon les trois méthodes vues ci-dessus. Il faut obtenir l’écart-type groupé s pour calculer le d de Cohen et le g de Hedges :

ω le terme correctif qui permet de calculer le g de Hedges, s’obtient de la façon suivante :

Pour calculer le Δ de Glass, il faut diviser la différence des moyennes par l’écart-type du groupe témoin :

Finalement, les résultats sont rassemblés dans le tableau 2 (les taille d’effet sont également présentées avec un arrondi au centième, précision communément adoptée dans les articles publiant les résultats de méta-analyses).

Ici, les trois méthodes de calcul donnent pour une même étude des tailles d’effet différentes de 0,05 au plus (c’est le cas de l’étude B). Avec un arrondissement au dixième près, plus aucune différence n’est décelable.

L’erreur type de l’estimation d’un paramètre est l’écart-type de sa distribution d’échantillonnage (par exemple imaginons qu’un grand nombre d’expériences sont faites, toutes de la même manière, et qu’un grand nombre d’estimations de la taille d’effet sont calculées à partir des observations).

Nous calculons une variance de la distribution d’échantillonnage de chacune des trois estimations d, g, et Δ,.

La variance du d de Cohen (notée V_d) est

Le premier terme reflète l’incertitude dans l’estimation de la différence des moyennes, le second reflète l’incertitude dans l’estimation de l’écart-type σ. Et comme g = ωd, nous calculons alors la variance de g (notée V_g)[5]

Par définition ω < 1 donc ω² < 1 et V_g < V_d. Cela signifie que la précision du g de Hedges est supérieure à la précision du d de Cohen.

Et enfin, pour le Δ de Glass, la variance de Δ notée V_Δ se calcule comme suit :

Il faut remarquer que 2 (n_b– 1) < 2 (n_a + n_b) et que V_Δ > V_d > V_g.

Notons enfin que pour toutes ces variances, plus les échantillons sont de tailles importantes, plus les variances sont faibles et la précision des estimations des tailles d’effet augmente.

Les racines carrées de ces variances permettent alors de calculer les écarts-types de ces estimateurs, qui sont des erreurs types s_d ,s_g et s_Δ. Le tableau 3 récapitule les différentes formules de ce chapitre.

Comme nous venons de le voir, le g de Hedges est non-biaisé et sa variance est la plus petite. C’est ce qui explique qu’il soit choisi pour estimer les tailles d’effet dans presque toutes les études par comparaison de groupes récentes. Dans la suite de cet article, seules les méthodes et les formules utilisant le g de Hedges seront présentées.

Nous verrons plus loin que la précision des tailles d’effet a toute son importance quand il s’agit de caractériser l’effet d’une intervention.

La distribution du g de Hedges est une loi de Student non centrée asymétrique qu’il est possible d’approcher par une loi normale pour des degrés de liberté suffisamment grands (Hedges, 1981). Ainsi, δ est estimé en calculant un intervalle de confiance à 95 %

Si cet intervalle ne contient pas la valeur zéro, nous pourrons conclure à un effet statistiquement significatif au niveau de confiance 0,95. Dans le cas contraire, nous dirons que le résultat est statistiquement non significatif. Cette présentation dichotomique des résultats utilisée par le WWC peut prêter à discussion. Par exemple, la EEF a abandonné cette classification en 2022 (EEF, 2022 ; Roques, à paraître) et se contente de donner l’estimation ponctuelle accompagnée de son intervalle de confiance (dénommé intervalle de compatibilité) sans autre commentaire. Dans la suite de cet article qui s’appuie largement sur les procédures statistiques déployées et publiées par le WWC, les résultats seront présentés comme statistiquement significatifs (ou non).

Il est également possible de suivre la procédure des tests d’hypothèse pour estimer la signification statistique à associer au g de Hedges. Ici, un test Z sera conduit pour décider s’il est possible d’écarter l’hypothèse nulle H₀ qui est « la taille d’effet au niveau de la population est égale à zéro », ou encore « δ = 0 ». Pour des échantillons de tailles suffisamment grandes, la variable centrée réduite suit une loi normale centrée-réduite sous H₀. La valeur observée Z_obs est comparée à la valeur critique au niveau de confiance choisi (p. ex., pour un risque de première espèce α = 0,05, z_obs, est comparée à 1,96 et à –1,96). La valeur –p correspondante est également calculée et comparée à α.[6]

Enfin, les résultats sont représentés par un diagramme en forêt. L’axe des abscisses est gradué en nombre de tailles d’effet. Pour chaque étude, l’estimation de la taille d’effet (carré noir) et son intervalle de confiance à 95 %, qui est représenté par un segment, sont présentés sur une ligne (voir la figure 1 de l’exemple numérique).

Nous nous intéresserons d’abord à l’étude A pour calculer les bornes de l’intervalle de confiance et la valeur –p associée au test Z avec α = 0,05. La variance de g est calculée :

Nous calculons une valeur –p égale à 0,113. La taille d’effet calculée est statistiquement non significativement différente de 0. L’intervalle de confiance au seuil de 0,95 est [– 0,066 ; 0,621] qui inclut la valeur 0.

Pour l’étude B, le g de Hedges et sa variance sont calculés de la même façon :

Ici, la taille d’effet est statistiquement et significativement différente de 0 (valeur –p < 0,001) et l’intervalle de confiance au seuil de 0,95 qui est [0,463 ; 0,865] n’inclut pas la valeur 0.

Les résultats des six études fictives sont rassemblés dans le tableau 4. Pour la moitié des études, l’intervalle de confiance inclut la valeur 0 et les tailles d’effet sont statistiquement non significatives (ce qui correspond à une valeur-p supérieure à 0,05).

La figure 1 représente ces résultats sous la forme d’un diagramme en forêt. Les résultats non significatifs sont ceux pour lesquels l’intervalle de confiance est coupé par la droite verticale passant par 0.

Ce modèle ne peut être appliqué que si les études sélectionnées ont toutes été menées dans des conditions similaires, sur des populations identiques ayant subi une même intervention. La plupart du temps, les études sélectionnées par une méta-analyse en sciences de l’éducation ne satisfont pas à ces critères, mais comprendre ce modèle permettra de comprendre le modèle des effets aléatoires présenté plus loin. Dans cette situation qui peut être qualifiée de théorique, les études sont des répétitions d’un même protocole qui permet d’estimer une seule et unique taille d’effet réelle δ c’est-à-dire la taille d’effet de l’intervention sur la population entière dont sont issus les échantillons. Les différences observées entre les tailles d’effet expérimentales ou quasi-expérimentales sont donc le fruit du hasard qui prévaut dans tout échantillonnage. La taille d’effet globale notée M, estimation de la taille d’effet réelle unique δ, est calculée. De la même façon que pour une étude primaire, la variance de cette taille d’effet globale (notée V_M) est également calculée pour définir un intervalle de confiance ou pour procéder à un test d’hypothèse. Ces derniers éléments auront toute leur importance quand il s’agira de caractériser l’effet de l’intervention.

La taille d’effet globale M calculée en utilisant le modèle de l’effet fixe est égale à la moyenne des tailles d’effet calculées pour chacune des études, pondérée par les inverses de leur variance qui sont donc les poids affectés à chaque étude (noté P_i)[7].

Plus la variance de la taille d’effet de l’étude i est faible, plus son poids dans le calcul de la taille d’effet globale est important. Il est possible de montrer que le poids de la taille d’effet de l’étude augmente si

• N_i la taille totale de l’échantillon augmente,

• pour une taille totale N_i fixée, les tailles des deux échantillons se rapprochent.

La variance de M et son écart-type (noté s_M) sont alors calculés.

Admettons que la statistique M est normalement distribuée. Il sera possible de mener un test Z et de déterminer si M est statistiquement et significativement différente de zéro en ayant fixé un risque α. L’hypothèse nulle est ici que « la taille d’effet réelle est nulle » ou encore « δ = 0 ». La valeur observée z_obs est calculée ainsi que la valeur –p associée.

Nous pouvons également définir un intervalle de confiance au niveau de confiance 0,95.

Si cet intervalle comprend la valeur zéro, nous conclurons à une absence de signification statistique.

Ce modèle est choisi quand les études primaires sélectionnées ont été menées sur des populations différentes (p. ex., d’âges ou de pays différents) en appliquant des protocoles divers (p. ex., les durées des interventions ou les designs des études sont différents). La plupart du temps, les études primaires rassemblées lors de méta-analyses réalisées dans le domaine des sciences de l’éducation sont hétérogènes et correspondent bien à cette description. C’est donc ce modèle qui est le plus souvent choisi. Dans ce cas, les différences entre les résultats expérimentaux (ou quasi-expérimentaux) obtenus d’une étude à l’autre sont attribuables comme toujours à l’échantillonnage, mais aussi aux caractéristiques diverses évoquées ci-dessus. Nous considérerons que la taille d’effet calculée pour chaque étude i estime une taille d’effet réelle unique (notée δ_i) associée aux caractéristiques particulières de l’étude i et que ces tailles d’effet réelles δ_i sont elles-mêmes normalement distribuées autour d’une taille d’effet globale réelle δ, avec un écart-type noté τ. Cette taille d’effet globale réelle δ est le paramètre que nous cherchons à estimer.

Nous devons considérer deux distributions :

• la distribution normale des tailles d’effet calculées pour une étude donnée autour de la taille d’effet réelle δ_i de cette étude avec une erreur type (qui est aussi la racine carrée de la variance intra-étude) et que nous savons estimer (voir ci-dessus);

• la distribution normale des tailles d’effet réelles δ_i de l’ensemble des études autour de la taille d’effet globale δ avec un écart-type τ_i (qui est aussi la racine carrée de la variance inter-études τ2), taille d’effet globale et écart-type que nous cherchons à estimer. Nous noterons ici M* et T ces estimations.

Il est déjà possible de dresser le bilan suivant concernant les notations et le vocabulaire utilisés :

Le modèle des effets aléatoires prenant en compte les différences entre les populations analysées par les études primaires, il est donc possible d’inférer au-delà de ces populations considérées ici comme des échantillons d’un ensemble plus large, ce qui n’était pas possible avec le modèle de l’effet fixe précédemment étudié.

Au niveau des calculs, les principes sont les mêmes que ceux mis en oeuvre dans le modèle de l’effet fixe et l’estimation de la taille d’effet réelle moyenne est toujours égale à la moyenne des tailles d’effet expérimentales pondérée par les inverses de leur variance. Il faudra ici rajouter aux variances intra-étude l’estimation de la variance inter-études. La variance de la taille d’effet calculée pour l’étude i dans ce modèle est notée V_gi* et la variance et l’erreur type de M* sont notées V_M* et s_M*.

Comme pour le modèle précédent, en considérant que M* est normalement distribuée, nous procédons à un test Z avec comme hypothèse nulle que « la taille d’effet moyenne de la population est égale à zéro » ou encore « δ = 0 » et en associant à ce test une valeur –p avec

Un intervalle de confiance au niveau 0,95 est aussi calculé.

Soulignons que, par définition, V_gi* ≥ V_gi, donc s_M* ≥ s_M, ce qui revient à dire que le modèle des effets aléatoires, incluant de fait la variabilité des études dans la variabilité totale, est moins précis que le modèle des effets fixes.

Il va falloir calculer T ², l’estimation de τ². Il est ici admis que :

Si Q – (k – 1) < 0, la valeur nulle sera attribuée à T ² (τ² ne peut pas être négative).

Il faut un nombre suffisant d’études pour pouvoir estimer T ² avec assez de précision[8]. Si le nombre d’études sélectionnées est trop faible, c’est le modèle de l’effet fixe qui devra être utilisé, mais il ne permettra pas d’inférer au-delà des populations analysées dans les études primaires.

Les méta-analyses réalisées par la EEF pour identifier les méthodes pédagogiques efficaces (voir les pages du Teaching and Learning Toolkit sur leur site internet) rassemblent un grand nombre d’études et utilisent le modèle des effets aléatoires pour calculer les tailles d’effet globales. Les méta-analyses du WWC, quant à elles, ne comptent le plus souvent qu’une poignée d’études primaires, car elles ne concernent qu’une seule intervention clairement identifiée et doivent respecter un cahier des charges exigeant pour être sélectionnées. La taille d’effet globale est donc calculée en suivant le modèle de l’effet fixe. Et même, si les hypothèses de départ restent celles du modèle des effets aléatoires (les tailles d’effet réelles des études primaires sont reconnues être différentes les unes des autres), les conclusions des méta-analyses du WWC ne pourront pas être étendues au-delà des populations analysées par les études sélectionnées. Ce modèle mixte a été baptisé par le WWC modèle des effets fixes (WWC, 2022).

Le poids est calculé pour chacune des études. Pour l’étude A, P = 1/0,031=32,568. Les poids des cinq autres études sont obtenus de la même façon (tableau 5).

Une valeur – p inférieure à 0,001 est alors calculée. La taille d’effet globale calculée est statistiquement et significativement différente de 0 (test Z avec α = 0,05). L’intervalle de confiance au seuil de 0,95 est [0,289 ; 0,540] qui n’inclut pas la valeur 0.

Il faut calculer la variance intra-étude T ². k = 6, donc k – 1 = 5

Les variances des tailles d’effet sont calculées en rajoutant à la variance intra-étude la variance inter-étude T ². Par exemple, pour l’étude A,

V_g* = 0,031 + 0,037 = 0,068 et P* = 1/0,068 = 14,703

Les poids des cinq autres études s’obtiennent de la même façon (tableau 6).

Nous procédons de la même façon que pour le modèle de l’effet fixe pour calculer ensuite les autres résultats.

Une valeur –p inférieure à 0,001 est alors calculée. La taille d’effet globale calculée est statistiquement et significativement différente de 0 (test Z avec α = 0,05). L’intervalle de confiance au seuil de 0,95 est [0,152 ; 0,565] qui n’inclut pas la valeur 0.

Un diagramme en forêt (figure 2) présente les résultats de ces deux méta-analyses. Les losanges noirs représentent les estimations ponctuelles des effets globaux. Il est à noter que l’intervalle de confiance de la taille d’effet est plus grand quand le modèle des effets aléatoires est choisi. Quel que soit le modèle utilisé, les intervalles de confiance des tailles d’effet des études sont calculés à partir de la variance intra-étude V_g (et non V^*_g).

Le tableau 7 présente les éléments essentiels de ces deux modèles statistiques pour les quatre points clés suivants : les hypothèses initiales qui influent sur le choix du modèle, la modélisation des tailles d’effet réelles des études, les poids intervenant dans le calcul de la taille d’effet globale et les limites concernant les inférences.

La figure 3 propose une représentation graphique des distributions normales des estimations des tailles d’effet de trois études fictives selon les deux modèles. À gauche c’est le modèle de l’effet fixe qui a été mis en oeuvre, à droite, le modèle des effets aléatoires[9]. Dans le modèle de l’effet fixe, la taille d’effet réelle est la même pour toutes les études (les carrés blancs sont sur une même ligne verticale) et c’est également la taille d’effet réelle globale (losange blanc). Dans le modèle des effets aléatoires, les tailles d’effet réelles sont différentes d’une étude à l’autre et normalement distribuées autour de la taille d’effet réelle globale.

Nous pouvons traduire la taille d’effet comme étant la différence des moyennes des deux groupes (intervention et témoin) en nombre d’écarts-types. Les personnes habituées à considérer des courbes normales peuvent déjà y voir un élément éclairant. Mais pour des personnes peu familières avec les statistiques, il existe d’autres interprétations plus compréhensibles. Certains utilisent encore la grille d’interprétation de Cohen (Cohen, 1988) qui indique qu’une taille d’effet supérieure à 0,8 est importante, qu’elle est moyenne entre 0,2 et 0,8 et faible sous ce seuil. Cette grille de lecture basée notamment sur une comparaison des tailles de jeunes filles réparties en groupes d’âge ne semble pas adaptée aux sciences de l’éducation où d’autres indicateurs sont actuellement utilisés. Par exemple, la EEF traduit la taille d’effet en un nombre de mois de progrès. Il s’agit plus précisément du nombre de mois dont un élève moyen du groupe intervention a progressé par rapport à un élève moyen du groupe témoin. La EEF considère que, pour la plupart des scores mesurés au niveau national, un élève britannique progresse de 1 écart-type en une année scolaire; donc, un mois d’études équivaut à 1/12 d’écart-type soit 0,09 écart-type. Le tableau 8, qui associe chaque nombre de mois de progrès à un intervalle des tailles d’effet, concerne les études primaires (EEF, n. d.). Un tableau légèrement différent (ces différences concernent les deux premières colonnes du tableau 8) est publié pour les tailles d’effet globales calculées pour les méta-analyses du Toolkit (EEF, 2023).

Le WWC propose quant à lui de traduire la taille d’effet par un indice d’amélioration (IA) qui est le changement attendu du rang centile d’un élève moyen du groupe témoin qui serait ensuite soumis à l’intervention. Il peut aussi s’agir de la différence entre le rang centile d’un élève du groupe témoin qui obtient le score d’un élève moyen du groupe intervention et le rang centile d’un élève moyen du groupe témoin. Le calcul de l’indice d’amélioration se fait en deux étapes : il faut d’abord calculer l’indice U3 de Cohen, qui est la fraction des élèves du groupe témoin surpassés par l’élève moyen du groupe intervention (et qui se calcule grâce aux propriétés des courbes normales). En l’absence d’intervention, cet indice est égal à 50 %. Puis, il faut soustraire 50 % à l’indice U3.

L’objectif ici est d’associer un niveau de preuve à l’effet tel qu’il a été calculé, aussi bien pour une étude primaire que pour une méta-analyse. La description qui suit reprend les lignes directrices encadrant l’interprétation des résultats des analyses du WWC (WWC, 2022). Nous avons déjà vu que le WWC classe les études en évaluant leur design et donc leur validité interne. Dans le cas présent, il s’agit de caractériser l’effet d’une intervention en tenant compte à la fois du design de l’étude (ou des études sélectionnées dans le cas d’une méta-analyse) mais aussi de l’ampleur de l’effet (c’est-à-dire de la taille d’effet) et de la précision avec laquelle cet effet a été évalué, par exemple en calculant un intervalle de confiance. Pour une étude primaire comme pour une méta-analyse, le WWC classe l’effet de l’intervention dans l’une des cinq catégories suivantes : 1) preuves fortes (tier 1), 2) preuves modérées (tier 2), 3) preuves prometteuses (tier 3), 4) effets incertains et 5) effets négatifs. Par exemple, pour obtenir le niveau le plus élevé, la taille d’effet (la taille d’effet globale pour une méta-analyse) doit être positive et statistiquement significative, l’échantillon total doit avoir un effectif supérieur à 350 et inclure plusieurs sites. De plus, dans le cas d’une étude primaire, celle-ci doit être conforme sans réserve aux normes WWC ; dans le cas d'une méta-analyse, les résultats d'études conformes sans réserve aux normes WWC doivent représenter plus de 50 % du poids des tailles d’effets calculées et aucun effet négatif ne doit avoir été publié. Quand une taille d’effet positive est calculée mais qu’elle n’est pas statistiquement significative, pour une étude primaire comme pour une méta-analyse, l’effet de l’intervention est classé par le WWC comme présentant des effets incertains.