Les auteurs en psychométrie ont traditionnellement été peu diserts sur le sujet des normes et, a fortiori, sur leur précision. Un survol des grands textes publiés sur les théories des tests et l’élaboration des instruments de mesure verbale, en psychologie et en éducation, permet de trouver quelques pages sur les types de normes et leur méthode de fabrication, sans plus. Les grands classiques que sont Gulliksen (1950) et Guilford (1954) sont muets sur la question. L’article de Flanagan, Units, scores, and norms, paru dans le premier grand collectif de référence Educational measurement dirigé par Lindquist (1951), fait une présentation honnête des principaux types de normes ; le seul commentaire formulé concernant la précision suggère d’utiliser quelques centaines de répondants pour le groupe normatif[1]. Angoff (1971) va un peu plus loin en soulignant le fait que les calculs présentés sur la précision relative à l’échantillonnage concernent la moyenne de l’ensemble normatif et que, en ce qui regarde la médiane et les centiles inférieurs et supérieurs de la distribution, leur erreur-type varie et augmente avec l’éloignement par rapport à la valeur centrale. Ces propos ne semblent pas avoir été repris, encore moins développés, dans les éditions ultérieures du collectif Educational measurement (Brennan, 2006 ; Linn, 1989 ; Thorndike, 1971). L’exhaustive revue des procédés de création de normes de passage présentée en 2007 par Cizek et Bunch, tout intéressante qu’elle soit, concerne quasi exclusivement des normes édictées, c’est-à-dire produites par le concours d’un groupe d’experts et selon leurs appréciations des contenus du test ou des niveaux de score ; rien sur les seuils psychométriques à proprement parler.

Dans un article intitulé Test reliability for what?, Bloom (1942) introduit un concept, nouveau en psychométrie, relatif à la capacité d’un test à catégoriser les personnes de manière fiable. En fait, il présente une formule,

en la décrivant ainsi : « Ce quotient indique le nombre de classes qu’on peut créer à partir de l’étendue des scores de telle sorte que les chances qu’une donnée d’une classe recoupe une donnée correspondante dans la classe voisine sont à peu près d’une sur mille » (Bloom, 1942, p. 521). Thurlow (1950), qui réclame la copaternité de cette formule, parle aussi de « discriminations stables », qu’il relie verbalement au coefficient de fidélité, c’est-à-dire à la précision du test, sans plus. Enfin, Laurencelle (1997, 1998, 2014) redécouvre le concept de Bloom, l’élaborant de A à Z à partir du « pouvoir discriminant » de Ferguson (1949) et de la résolution statistique de la base de mesure, et il en propose la formule suivante,

sous l’appellation de « capacité discriminante ». Semblablement à Bloom (1942), cette formule indiquerait le nombre d’intervalles de mesure efficaces, ou catégories efficaces, parmi lesquels l’instrument de mesure à fidélité ρ_XX peut répartir une population statistique normale de telle façon qu’un élément mesuré ait une probabilité d’au moins ½ d’être classé dans son intervalle propre. Cette incursion dans la propriété d’un test consistant à classer les objets mesurés tout en tenant compte de l’erreur de mesure, autrement dit du coefficient de fidélité du test, nous semble être la première du genre, associant de manière explicite et structurée l’erreur de mesure et la fonction normative des tests.

Finalement, Laurencelle, en 1998, décrit une première forme de traitement probabiliste des normes en présentant une « norme diagnostique », soit un seuil psychométrique ayant pour propriété de sanctionner une décision normative sous un contrôle explicite de l’erreur. L’erreur ici contrôlée, il faut le noter, est l’erreur d’échantillonnage ou erreur positionnelle du seuil, non pas l’erreur de mesure, et son traitement suppose une mesure parfaitement précise, c.-à-d. à fidélité de 1. Les développements qui suivent amplifient la question.

Avant d’aborder le problème spécifique des seuils psychométriques, rappelons brièvement les éléments de la théorie classique des tests et sa notation, tels qu’ils ont été fixés par les auteurs de référence (Guilford, 1954 ; Gulliksen, 1950 ; Lord & Novick, 1968). Chaque mesure X_i,o, prise d’un individu i à l’occasion o, est susceptible de fluctuer d’une occasion à l’autre, et ce, même en stipulant que la caractéristique évaluée reste quant à elle invariable. Le train virtuel de mesures X_i,1, X_i,2, X_i,3,… présente donc des valeurs changeantes, mais ces valeurs oscillent de façon structurée en s’agglutinant plus ou moins près d’une valeur imaginaire, la valeur vraie de la caractéristique mesurée chez l’individu évalué. Cette constatation axiomatique aboutit au modèle classique :

en vertu duquel la valeur mesurée X_i,o apparaît comme le composé linéaire de la valeur propre, dite « valeur vraie », de l’individu évalué i et d’une « erreur de mesure » e_o, associée aux circonstances de la mesure (imprécision de l’instrument, variation non systématique de contexte, etc.), ce composant e_o variant au hasard.

Le modèle (1) ci-dessus pose que, dans le double univers des individus et des occasions de mesure, les variables V_i et e_o sont stochastiquement indépendantes (et non corrélées). La précision d’une mesure X (ou de l’instrument qui la porte) est caractérisée par deux indices globaux. D’abord, la fidélité ρ_XX, que nous dénoterons ici R, soit :

et l’erreur-type de mesure σ_e, habituellement présentée par :

les méthodes d’estimation de l’un et de l’autre indices méritant réflexion (Allaire & Laurencelle, 1998 ; Laurencelle, 1998).

Il est d’usage de stipuler que la variable aléatoire e_o est de distribution normale[2]. Quant à la loi de distribution des valeurs vraies V_i, elle est laissée ad lib. et est occasionnellement rapportée aussi au modèle normal. D’autres aspects complémentaires de la théorie classique seront présentés au fur et à mesure des besoins de l’exposé.

Les normes psychométriques, qui permettent de classer les personnes, qualifier un candidat ou repérer un cas déviant, apparaissent sous forme de centiles ou reposent essentiellement sur eux. Tantôt la médiane[3] servira de norme de référence, tantôt ce sera le centile 75 qui permettra d’établir l’âge de développement moteur d’un enfant, tantôt on cherchera le candidat exceptionnel logé au-delà du centile 99. Le centile 75 doit par définition sommer 75 pour cent, ou la portion 0,75, de la population concernée, tout comme on devrait retrouver 1 % des gens au-delà du centile 99 d’une distribution normative. C’est à ces considérations et, surtout, à leur degré de précision relative que cette étude s’attarde maintenant.

Soit une population d’éléments de taille N (pratiquement) infinie et de mesure X, et soit P, une fraction allant de 0 à 1 ou indifféremment un pourcentage allant de 0 à 100. En ordonnant les éléments selon leur mesure, de la plus petite à la plus grande, nous donnons à l’élément X de rang r (1 ≤ r ≤ N) le rang centile P (aussi désigné « quantile » dans la littérature statistique), où P = r / N, la valeur marquant ce rang étant le centile vrai X_P. Appliquant alors le centile (vrai) X_P afin de repérer les éléments dont la mesure déborde la valeur X_P, un élément est dit capturé si X ≥ X_P, et le taux de capture est enfin K = Pr{X ≥ X_P} = 1 – P. Cependant, les centiles qui nous intéressent, ceux exploités dans les normes des tests psychométriques, reposent non pas sur la population, mais sur un échantillon de taille n modeste : le centile échantillonnal C_P est un estimateur du vrai centile X_P, et son taux de capture k = Pr{X ≥ C_P} est un estimateur de K ; C_P et k ont donc les propriétés d’un estimateur, c.-à-d. qu’ils sont échantillonnalement imprécis, peuvent être biaisés et dépendent à la fois du modèle distributionnel sur lequel la mesure X repose vraiment et de la taille n de la série normative qui a permis d’établir C_P.

Cette étude examinera d’abord les centiles calculés sur des échantillons issus d’une population de mesures « pures », c.-à-d. dépourvues d’imprécision ou d’erreur. Dans un article ultérieur (Partie II), l’étude portera vers des mesures plus coutumières en sciences humaines, celles composées d’une valeur vraie et d’une erreur aléatoire qui s’y ajoute.

Pour estimer la valeur d’un centile ou de quelques centiles à partir d’un échantillon, celui-ci doit être normatif, c.-à-d. représentatif et suffisant. La représentativité, qui dépend essentiellement du mode d’échantillonnage, ne permet pas à elle seule l’obtention d’une estimation satisfaisante. Par exemple, posant une population à composition homogène, si la mesure de 1 élément pris au hasard dans la population permet d’obtenir une estimation non biaisée de la moyenne de celle-ci, elle ne permet pas d’en estimer adéquatement le centile 95 (X_0,95). Ce ne serait pas non plus le cas si nous mesurions, par exemple, n = 3 ou 10 éléments. La taille n suffisante dépend d’abord du rang centile à estimer[4], mais aussi du mode d’estimation appliqué et, le cas échéant, du modèle paramétrique invoqué.

On peut distinguer deux grandes catégories d’estimation, deux types de centiles à estimer : les centiles à modèle paramétrique stipulé et les centiles non paramétriques. La première catégorie, celle des centiles à modèle paramétrique stipulé, réfère aux situations dans lesquelles le chercheur sait ou stipule que sa population et son échantillon normatif relèvent d’un modèle paramétrique (une loi de distribution) auquel il peut se fier. Le modèle prééminent est évidemment celui de la loi normale, modèle qui sera invoqué ici. Dans la seconde catégorie, aucun modèle distributionnel ne s’impose avec force, car la loi de distribution empirique ne semble correspondre à rien de connu ou de sûr. Ce type de centile admet tout de même une sous-espèce, celle d’un système de centiles à comportement local paramétrique. En d’autres mots, si la distribution globale des mesures ne se conforme pas à un modèle paramétrique disponible, l’étalement statistique des centiles dans la zone d’intérêt, par exemple à l’extrémité droite de la distribution, est suffisamment proche de celui d’un modèle paramétrique donné pour que ce dernier serve à en estimer les caractéristiques.

Cette taxonomie heuristique nous amène à proposer trois types de centiles empiriques, différant entre eux par leur contexte paramétrique et leur mode d’estimation:

• le centile à modèle stipulé normal (₁C);

• le centile ordinal simple (₂C);

• le centile ordinal normalisé (₃C).

Tout estimateur basé sur un échantillon de taille n souffre d’une forme ou d’une autre d’imprécision. En premier lieu, l’estimateur C_P est imprécis par rapport à sa cible paramétrique X_P. Cette imprécision en est une de variabilité, telle qu’on peut l’évaluer par son erreur-type σ_C, en ce sens que la valeur de C_P fluctue d’un échantillon (de taille n) à l’autre ; et une de biais B_C, tel qu’évalué par son espérance E(C_P), où B_C = E(C_P) – X_P. L’erreur quadratique moyenne (EQM) permet de globaliser ces deux erreurs par l’équivalence : EQM = E{(C_P – X_P)²} = σ²_C +B²_C .

En second lieu, l’imprécision de l’estimateur C_P se répercute sur son taux de capture k_n, lequel est une proportion dont l’espérance E(k_n) peut être biaisée par rapport au taux prescrit K, selon B_k = E(k_n) – K, et l’erreur-type est (voir note 10). Ces deux classes d’estimateurs, et les variantes d’estimation répertoriées ici, sont consistantes pour un modèle de population, en ce sens que, pour une taille d’échantillon n croissante, variabilité et biais décroissent jusqu’à disparition.

Même si le centile linéaire ₁C_P n’avait pas été biaisé, sa seule variabilité autour de la valeur cible X_P suffirait à faire craindre un biais de capture puisque, sous le modèle normal, la relation entre la variable X et la fonction de répartition Φ(X) est non linéaire ; le biais lui-même n’arrange pas les choses. Prenons l’exemple du centile de rang P = 95, dont la valeur et le taux de capture nominaux sont X_0,95 = 1,645 et K = 0,05 sous le modèle normal. Les statistiques Monte Carlo suivantes (basées sur 10⁶ échantillons) illustrent la situation (voir la première rangée du tableau 2). Il faut noter que les tailles échantillonnales ont été fixées à des nombres de type n = r × 20 – 1 de façon à permettre une estimation exacte des centiles ordinaux 95 et 99.

Le tableau 2 rapporte une étude du taux de capture (k_n) réalisé par les estimateurs linéaire (₁C_P) et ordinal normalisé (₃C_P), d’abord sous une population normale. Le biais du taux k_n encouru par le seuil linéaire ₁C_P, vis-à-vis du taux paramétrique K = 0,05, est imputable principalement au biais de l’écart-type (s) [voir les expressions (9) et (10)], générant un taux excessif dont l’excédent se résorbe peu à peu à mesure que la taille de l’échantillon normatif augmente. Il faut toutefois noter qu’il s’agit là de moyennes, et que les taux k_n individuels fluctuent, ce à quoi cette étude reviendra un peu plus loin[10]. Tout redondant qu’il soit, le tableau 2 montre aussi, à l’évidence, que le centile ordinal (de type ₂C_P ou ₃C_P) est lui aussi fluctuant et produit une capture fluctuante, quoique systématiquement non biaisée.

Quel que soit le type de centile ou seuil appliqué, sa variabilité, comme il a été démontré, interférera avec sa précision de capture, de sorte que la qualité des individus sélectionnés pourra laisser à désirer. Par exemple, la personne non qualifiée, selon X_i < X_P, sera tout de même retenue parce que le seuil normatif C_P sera inférieur à X_P. Pour pallier ce risque, il suffit de relever la valeur générale des seuils C_P en déplaçant leur distribution échantillonnale vers le haut, de sorte que le risque encouru, celui de retenir une personne non qualifiée, ne déborde pas un niveau de probabilité donné : c’est cette classe de seuils normatifs, protégés en probabilité, qui sera désignée ici par le concept de « norme sûre ». Selon le besoin de favoriser la spécificité de sélection (réduire le risque de retenir une personne non qualifiée) ou sa sensibilité (réduire le risque de ne pas retenir une personne qualifiée), il nous faut appliquer respectivement une norme sûre « exigeante » ou « permissive ». Le développement du concept de norme sûre apparaîtra dans un article ultérieur, où le contexte du contrôle de la décision normative sera complété en y intégrant la part importante qu’y joue l’erreur de mesure.

Le but d’un seuil psychométrique, il faut le rappeler, est de capter, c.-à-d. discriminer, les individus qui relèvent d’une portion extrême significative d’une population, et ce, à des fins diverses (qualification, diagnostic, contrôle). Par rapport à la portion de population visée, soit K, l’incertitude positionnelle des seuils C_P donne lieu à une capture variable k_n, qui dépend évidemment de la taille échantillonnale n, mais aussi du mode de définition du centile (₁C_P, ₂C_P, ₃C_P) et de la forme de distribution des scores de la population. À cette première source d’erreur, déjà étudiée par Laurencelle (1998, 2000, 2002, 2008a, 2008b), doit s’ajouter l’erreur de mesure, notée e_o. Tandis que la norme, le seuil normatif C_P, est une valeur fixée dans une situation de sélection, l’erreur e_o, elle, est variable d’une personne à l’autre, voire d’une mesure à l’autre de la même personne, et elle est en fait attachée à chaque mesure X, selon le modèle (1) de la théorie des tests. Au moment de confronter la mesure X_i = V_i + e_o au seuil normatif C_P, l’erreur e_o surimposera sa propre marge d’incertitude à l’imprécision du seuil C_P, ajoutant ainsi sa part de variabilité au taux de capture.

La théorie intégrant la mesure X_i avec erreur et l’incertitude échantillonnale du centile C_P sera développée et présentée dans un prochain article, où sera formulé explicitement le concept de norme sûre, permettant de garantir en probabilité, à un niveau a prescrit, la qualité de la sélection. Un dernier article pourra enfin donner des exemples illustratifs, avec données à l’appui, de l’application et de l’utilisation de ces outils dans différents contextes.