Cette recherche vise à fournir une échelle spécifique au climat de classe à l’université, à distance et en début de bachelor (baccalauréat) (niveau 6 de CITE 2011). Aucune échelle en français ou en allemand n’a été développée pour ce contexte.

Les aspects relationnels interpersonnels sont les dimensions centrales de la plupart des échelles de mesure du climat de classe (Bennacer et al., 2006 ; Fraser & Treagust, 1986 ; Janosz et al., 1998 ; Janosz et al., 2005 ; Moos & Trickett, 1973) parce qu’ils prédisent la réussite, la motivation, la performance ou l’estime de soi, autant en présence (Fraser & Treagust, 1986 ; Genoud, 2008 ; Janosz et al., 2005 ; Moos & Tricket, 1973) qu’à distance (Chickering & Ehrmann, 1996 ; Walker & Fraser, 2005). Toutefois, à distance, rendre ces relations possibles et fécondes est un défi (Poelhuber & Chomienne, 2006). Ces dimensions côtoient souvent des dimensions non relationnelles telles que la direction au but, le niveau de désorganisation ou de réglementation (par ex. Haertel et al., 1983), le maintien du système (Trickett & Moos, 1974), la constance de l’encadrement (Janosz et al., 1998), etc. Les échelles développées pour l’université excluent souvent les dimensions qui peuvent varier d’un cours à l’autre (Fraser & Treagust, 1986 ; Genoud, 2008 ; Walker & Fraser, 2005) en raison de l’hétérogénéité des situations d’enseignement qui en rend la mesure peu fiable.

L’échelle convenant le mieux à nos besoins est celle de Genoud (2008) : le Climat relationnel dans les études à l’Université [CREU]. Première échelle francophone sur le climat de classe visant une population générale d’étudiantes universitaires, le CREU est fortement inspiré par trois dimensions du Classroom Environment Scale (CES) (Moos & Trickett, 1973) et par quatre dimensions du College and University Classroom Environment Inventory (CUCEI) (Fraser & Treagust, 1986). Le CREU se veut utilisable pour toutes méthodes pédagogiques, tous styles d’enseignement en présence et pour des panels d’étudiantes ayant des cursus particuliers (p. ex. deux cursus menés en parallèle). Le CREU n’inclut pas les dimensions du CES et du CUCEI variant selon les cours (la clarté des règles, le contrôle par l’enseignement, l’innovation). Il se réduit à quatre sous-dimensions (définies dans le Tableau 1) permettant à chaque étudiante de donner son sentiment général sans prendre en compte des particularités de chaque cours (Genoud, 2008). Ces sous-dimensions font du CREU une échelle spécifique aux aspects relationnels du climat de classe que Genoud (2008) définit comme « les perceptions qu’ont les étudiantes de leur formation, relativement à des composantes relationnelles » (p. 44).

Les qualités psychométriques des 20 items du CREU ont été éprouvées par Genoud (2008). Toutefois, comme sa validation mêle deux familles d’éléments de preuve (liés à la validité de contenu et à la validité de construit), le CREU souffre d’une lacune : sa validité de critère n’a pas été testée, c’est-à-dire que les scores obtenus au CREU n’ont pas été comparés à des scores obtenus à des critères de référence (Bouletreau et al., 1999). Il est nécessaire de pallier ce défaut pour que le CREU devienne opérationnel (Loye, 2019). Dans ce cadre, nous désirons adapter le CREU à l’enseignement à distance et étudier ses liens avec des variables associées à la qualité du climat de classe : les sentiments de persévérance, les notes obtenues (Anderson & Walberg, 1974 ; Giraudet, 2016 ; Haertel et al., 1981 ; Lial, 2019 ; Walker & Fraser, 2005) et le sentiment d’auto-efficacité (Goffin et al., 2013 ; Jungert & Rosander, 2010 ; Lorsbach & Jinks, 1999). Nous ajoutons à ces variables celle de l’ennui, dont les liens avec le climat de classe restent aussi méconnus (Breidenstein, 2007 ; Weinerman & Kenner, 2016) qu’omniprésents (Baillifard & Martarelli, 2022 ; Goetz & Hall, 2014 ; La Marca & Longo, 2017). La propension à l’ennui est délaissée dans la recherche en éducation, en partie parce que c’est une émotion discrète et peu perturbatrice pour l’enseignant (Pekrun et al., 2010). Pourtant, certains auteurs n’hésitent pas à parler d’effets négatifs universels de l’ennui sur le rendement scolaire : manque de concentration, distractibilité, pensées non pertinentes, réduction de la motivation (Pekrun et al., 2010).

Le questionnaire que nous développons se nomme Climat relationnel des études à distance. Son acronyme, CRED, évoque sa parenté avec le CREU (voir Tableau 1). En apportant des éléments de validité au CRED et en étudiant ses liens avec des variables cognitive (performance académique), affective (ennui) et motivationnelles (sentiment de persévérance, sentiment d’auto-efficacité), nous aimerions contribuer aux questions posées par la recherche récente en clarifiant les liens entre les dimensions relationnelles du climat de classe et l’enseignement à distance en début de bachelor (baccalauréat).

Notre étude cherche à éprouver deux hypothèse :

1) Les quatre dimensions mises en évidence par Genoud (2008) dans le CREU seront répliquées dans le CRED ; et.

2) Les scores d’étudiantes en premier semestre de bachelor (baccalauréat) au CRED auront des liens significatifs et négatifs avec leur propension à l’ennui, mais positifs avec leur persévérance, leur sentiment d’auto-efficacité et leur performance (notes).

La recherche est menée dans un établissement universitaire suisse bilingue (français-allemand) qui dispense un enseignement composé de périodes d’apprentissage à distance et de visioconférences. La population de l’étude est constituée des 798 étudiantes (francophones ou germanophones) inscrites en premier semestre de bachelor (baccalauréat) durant l’automne 2020. Parmi elles, 28 % (n = 223) ont répondu à l’enquête et constituent l’échantillon des répondantes. Elles représentent 152 femmes (soit 69 %), 117 germanophones (soit 52 %) et sont réparties dans des classes dont la taille varie de six (histoire germanophone) à 62 participantes (psychologie francophone). L’établissement universitaire dans lequel a eu lieu l’étude propose des filières d’étude dans deux langues nationales, soit le français et l’allemand. La plupart des participantes (82 %) étudient dans leur langue maternelle. L’âge des participantes, dont la moyenne est de 36 ans (écart-type = 10,4), s’échelonne de 18 à 66 ans. 89 % d’entre elles ont une occupation professionnelle ou familiale.

Cette population étudiante est dite « non traditionnelle » : âgée de plus de 25 ans, étudiant à temps partiel et assumant une charge professionnelle ou familiale (Sandler, 2000). La commission éthique de l’établissement a accepté que cette recherche soit menée. Le logiciel d’enquête Limesurvey (2000) a été utilisé.

Le questionnaire Climat relationnel des études à l’Université (CREU, Genoud, 2008) a été adapté pour la distance et traduit en allemand afin de pouvoir être administré aux étudiantes francophones et germanophones de l’établissement. Le Tableau 2 recense chaque modification (légère modification, emprunt, suppression). Tous les items ont été adaptés au langage épicène afin d’éviter une représentation mentale biaisée (Gygax et al., 2019). L’adaptation a consisté à rendre les items du CREU compatibles avec la réalité de l’enseignement à distance. Huit items (sur 20) ont pu être conservés (p. ex. « Les étudiant.e.s sont généralement satisfait.e.s de leurs études. »), huit ont dû être légèrement modifiés (p. ex. « Les étudiant.e.s ont du plaisir à aller en [suivre les] cours. »), trois ont été remplacés parce qu’ils n’étaient pas adaptés à un contexte à distance et un a été supprimé. Ce dernier n’était pas pertinent pour l’ensemble des cours étudiés (« Les étudiant.e.s travaillent volontiers ensemble. »).

Une traductrice de langue maternelle allemande, spécialiste de l’éducation (ingénieure pédagogique) et qui n’avait pas participé aux discussions précédentes, a pris part à de nouveaux échanges cherchant à obtenir le consensus sur chaque item. Le CUCEI (Fraser & Treagust, 1986), le DELES (Walker & Fraser, 2005) et le CES ont été consultés pour guider les débats concernant chaque modification. Par souci de cohérence, les trois items remplacés proviennent tous de la version française du CUCEI (Busugutsala, 1998), parce qu’il est à l’origine des items du CREU. Le CRED demeure très proche du CREU : trois sous-échelles sur quatre ne possèdent pas de nouveaux items et 80 % des items n’ont que peu ou pas été modifiés.

L’invariance des mesures entre les échantillons (francophones et germanophones) a été évaluée en testant cinq modèles (voir Annexe A). Ces derniers étaient destinés à vérifier des spécifications de plus en plus restrictives : au niveau des similitudes de la structure factorielle, des charges factorielles, des interceptions, des variances résiduelles et, enfin, des moyennes. Une non-invariance est considérée pour une valeur seuil de 0,01 de la différence de l’indice d’ajustement comparatif (comparative fit index [CFI]) associée à des changements d’erreur quadratique moyenne de l’approximation (root mean square error of approximation [RMSEA]) de 0,015 (Chen, 2007). Cette analyse calculée avec R (R Core Team, 2020) avec le paquet lavaan (Rosseel et al., 2018) révèle une faible invariance de mesure. Par souci de transparence, nous avons décidé de placer en annexe les résultats discriminés par langue, mais de mettre en commun les données dans le texte principal afin de préserver la lisibilité et la puissance des analyses. Enfin, nous avons opté pour des échelles de Likert en cinq points (« Pas du tout d’accord = 1 » à « Tout à fait d’accord = 5 »).

Les éléments de validité d’un questionnaire proviennent de mesures et d’analyses concernant ses caractéristiques psychométriques telles que la fidélité et la validité (Roulin, 2018). Dans le cadre de cette recherche, et à la façon de Mortillaro et Bourgeois (2021), nous séparons les éléments de preuve selon qu’il s’agisse de validité de construit (fidélité et analyse factorielle confirmatoire [AFC], voir plus loin) et de validité de critère (voir plus loin). Les analyses et les mesures statistiques ont été obtenues avec le logiciel JASP (2021).

La validité de construit du CRED consiste à évaluer la structure en quatre sous-dimensions évoquée par Genoud (2008). Elle combine des calculs de cohérence interne, une AFC et la comparaison avec les résultats antérieurs de Genoud (2008). Respectant les invitations récentes de la recherche « à en finir avec l’alpha de Cronbach », nous utilisons l’oméga de McDonald comme indicateur de cohérence interne (Béland et al., 2018 ; Bourque et al., 2019 ; Dunn et al., 2014 ; Laveault, 2014), mais nous conservons les indices alpha à des fins de comparaison.

Grâce à l’analyse en composantes principales faite par Genoud (2008), les quatre facteurs du CREU sont connus a priori. Pour cette raison, nous testons les qualités psychométriques du CRED avec trois AFC. La première teste une structure supposée unidimensionnelle de l’échelle, la deuxième, une structure à quatre facteurs indépendants. La dernière AFC teste un modèle à quatre facteurs corrélés, conceptuellement plus logique, en raison des corrélations entre différentes dimensions du climat de classe révélées par la littérature (p. ex. Janosz et al., 1998) et par Genoud (2008).

Pour évaluer l’ajustement des trois modèles aux données, nous utilisons six indices d’ajustement. Le khi carré (χ²), calcule l’écart entre les matrices de covariance observées et estimées. L’indice de Tucker-Lewis (Tucker-Lewis index [TLI]) et l’indice d’ajustement comparatif (comparative fit index [CFI]), qui estiment la différence entre les χ² des modèles testé et théorique, reflètent un bon ajustement au-dessus de 0,90. L’erreur quadratique moyenne de l’approximation (root mean square error of approximation [RMSEA]) qui évalue les écarts normalisés entre la matrice observée et la matrice estimée est le signe d’un bon ajustement au-dessous de 0,05. Vient ensuite la valeur moyenne quadratique pondérée (standardized root mean square residual [SRMR standardisé]) de chaque cellule de la matrice qui reflète un bon ajustement au-dessous de 0,08. Enfin, l’indice de qualité d’ajustement (goodness of fit index [GFI]), une mesure de l’adéquation des matrices de covariance du modèle théorique et du modèle observé, reflète un bon ajustement quand il est supérieur à 0,9.

La validité de critère (ou validité contre critère) est le niveau de concordance entre les scores obtenus par les répondants à un questionnaire et les scores obtenus par un instrument de mesure choisi comme référence et déjà validé (Bouletreau et al., 1999, p. 11). Cette recherche approche cette validité par le calcul de corrélations de convergence avec des variables issues de la recherche (Tableau 5). Les corrélations des scores obtenus par les répondants sur l’échelle CRED à d’autres mesures théoriquement reliées offrent des indices de validité. Les critères associés à un bon climat de classe retenus sont le sentiment d’auto-efficacité (Goffin et al., 2013) et la persévérance (Lial, 2019). Nous avons ajouté l’ennui pour examiner ses liens méconnus avec le climat de classe (Weinerman & Kenner, 2016), à la suite des appels récurrents de chercheurs visant à étudier les liens entre les environnements d’apprentissage et l’ennui.

Les échelles et les items utilisés pour mesurer l’auto-efficacité, la persévérance autorapportée et la propension à l’ennui se trouvent en annexes (Annexes B-C-D). Le sentiment d’auto-efficacité générale (GSE) (Schwarzer & Jerusalem, 1995) est mesuré par les 10 items d’un questionnaire unidimensionnel validé et traduit en 33 langues (p. ex. « J’arrive toujours à résoudre mes difficultés si j’essaie vraiment. »). L’ennui est mesuré par les versions validées et traduites (Martarelli et al., 2020 ; Martarelli et al., 2022) du Short Boredom Proneness Scale (SBPS) (Struk et al., 2017), une échelle unidimensionnelle en huit items qui tente de saisir la tendance générale à l’ennui, une expérience d’absence de volonté ou d’incapacité à s’engager dans une activité (Eastwood et al., 2012). Une autoquestion (« Ai-je été persévérant ? ») mesure la persévérance grâce à une échelle de Likert en neuf points (« 1 = J’ai abandonné dès le départ. » ; « 3 = J’ai été peu persévérant.e. » ; « 5 = J’ai fait le minimum nécessaire. » ; « 7 = J’ai été persévérant.e. » ; « 9 = Je me suis investi.e bien au-delà de ce qui m’était demandé. »). Les notes que 204 étudiantes ont accepté que nous utilisions après anonymisation ont servi de mesure pour la variable de performances académiques.

Les coefficients de cohérence interne mesurés pour le SBPS et pour le GSE, ainsi que les moyennes et les écarts-types se trouvent dans le Tableau 3.

Le Tableau 6 présente les résultats des trois AFC menées avec nos données (n = 223, soit 11,73 sujets/item, ratio supérieur au seuil recommandé de 4) (Pedhazur & Pedhazur-Schmelkin, 1991). La comparaison entre modèles concurrents montre que le troisième modèle (à quatre facteurs corrélés) obtient les meilleurs indices d’ajustement : χ²₍₁₄₆₎ = 298 (Khi²/dl₍₁₄₆₎ = 2,04, au-dessous de 3 pour un bon ajustement), p < 0,001 ; TLI = 0,897 ; CFI = 0,912 ; RMSEA = 0,068 ; SRMR = 0,065 ; GFI = 0,87. Deux indices d’ajustement sont légèrement insuffisants : le RMSEA (0,068) est supérieur à 0,05 et le GFI (0,87) est inférieur à 0,90, mais équivalent à celui obtenu par Genoud (2008). Ces indices d’ajustement sont insuffisants dans les sous-versions par langue, en particulier pour la version allemande du CRED (TLI = 0,859 ; CFI = 0,879 ; RMSEA = 0,085 ; GFI = 0,80) (voir Annexe G). Cette détérioration des indices provient en partie de la taille modeste des échantillons (FR = 117 et DE = 108). Enfin, tous les items sont significativement (p < 0,001) liés à leur facteur. Ces éléments corroborent la structure factorielle quadridimensionnelle du CRED.

Les coefficients de saturation dont la valeur absolue indique à quel point chaque variable contribue à sa dimension (Roulin, 2018) se trouvent dans le Tableau 7. Les items qui obtiennent les saturations les plus basses sont P2* (0,389) pour la sous-échelle de Personnalisation, C14r (0,407) pour celle de Cohésion, S17 (0,504) pour celle de Satisfaction et I9 (0,545) pour celle de l’Implication.

Le Tableau 5 montre les corrélations entre les sous-échelles du CRED et les variables d’intérêt retenues dans cette recherche. Le sentiment d’auto-efficacité générale, l’ennui et la persévérance ont des liens avec toutes les sous-échelles du CRED, à l’exception de la sous-échelle de Cohésion qui n’est pas liée au sentiment d’auto-efficacité générale (r = 0,08, p > 0,05). Les associations de critères les plus fortes associent négativement la sous-échelle de Satisfaction à l’ennui (r = -0,41) et associent positivement l’échelle complète avec la persévérance autorapportée (r = 0,34) et la sous-échelle de Personnalisation avec le sentiment d’auto-efficacité générale (r = 0,31). Ces corrélations de taille moyenne, situées entre 0,20 et 0,50 selon Cohen (1988, p. 79-80) suggèrent que les concepts mesurés par le CRED et les variables d’intérêt sont à la fois distincts et significativement associés.

Pour tester l’association entre les sous-échelles du CRED et la performance réelle, nous avons utilisé les notes des participantes (n = 204). Un seul lien significatif mais faible a été trouvé (r = 0,15, p < 0,05) entre les notes et la persévérance autorapportée (Tableau 5). Les autres coefficients de corrélation obtenus sont inférieurs en valeur absolue à 0,11. Ces résultats suggèrent une indépendance entre les résultats obtenus (notes) par les étudiantes dans un contexte entièrement à distance et des dimensions de climat relationnel de classe.

Notre première hypothèse, selon laquelle le CRED (en français et en allemand) conserve les qualités psychométriques du CREU (Genoud, 2008), est réfutée de manière limite puisque le RMSEA (0,068) est au-dessous de la valeur seuil et que le GFI est identique à celui du CREU, mais insuffisant (0,87). Les résultats de l’analyse factorielle corroborent la structure quadridimensionnelle du CRED et, celle du CREU dont il est inspiré. Le modèle prévoyant l’interdépendance entre sous-échelles a obtenu les meilleures qualités psychométriques conformément aux affirmations de recherches précédentes (Bennacer et al, 2006 ; Janosz et al., 1998). Les consistances internes des quatre échelles du CRED sont satisfaisantes, autant en français qu’en allemand (voir aussi l’Annexe E). Une étude de réplication permettrait de préciser la qualité des indices d’ajustement. Une recherche complémentaire pourrait approcher la mesure de la fidélité des scores par une méthode d’équivalence ou une méthode de stabilité.

La seconde hypothèse avance que les scores au CRED ont des liens significatifs positifs avec la persévérance, le sentiment d’auto-efficacité et les performances académiques (notes), mais négatifs avec l’ennui. Elle se trouve consolidée pour la persévérance, le sentiment d’auto-efficacité et l’ennui, mais rejetée pour les performances académiques.

De plus, trois des quatre sous-échelles (Personnalisation, Satisfaction et Implication) corrèlent positivement (p < 0,001) avec le sentiment d’auto-efficacité mesuré par le GSE. Ce résultat est conforme à de rares résultats antérieurs (Goffin et al., 2013 ; Jungert & Rosander, 2010) et plaide en faveur de l’appel toujours actuel de Lorsbach et Jinks (1999) d’examiner les liens entre auto-efficacité et environnement d’apprentissage afin d’améliorer ces derniers. D’un point de vue pédagogique, il est intéressant de remarquer que la dimension Personnalisation du climat relationnel est celle qui corrèle le plus (r = 0,307) avec le sentiment d’auto-efficacité. Ce résultat fait écho à la robuste théorie de l’autodétermination de Deci et Ryan (2012) associant le sentiment de liberté (autonomie) à la motivation intrinsèque, au sentiment de compétence (auto-efficacité) et à la proximité sociale (un cocktail de relations saines et de personnalisation). En effet, selon Deci et Ryan, un cadre marqué par la personnalisation ou par l’autonomie (la possibilité de choisir en respectant ses valeurs, le sentiment d’agir de son plein gré) se caractérise précisément par des niveaux accrus d’implication, de satisfaction et de persévérance (Sarrazin et al., 2011). Cette théorie est bien illustrée par la corrélation trouvée entre les scores de Personnalisation et de Satisfaction (r = 0,544, p < 0,001).

La propension à l’ennui mesurée par le SBPS corrèle négativement avec toutes les échelles du CRED, ce qui renforce l’idée selon laquelle la qualité du climat de classe est inversement associée à l’ennui (Goetz & Hall, 2014 ; La Marca & Longo, 2017 ; Weinerman & Kenner, 2016). Plus précisément, les liens significatifs et négatifs entre l’ennui et le sentiment d’auto-efficacité (r = -0,369, p < 0,001) pourraient faire écho à l’intuition de Danckert et al. (2018) qui affirment que les personnes ayant un fort sentiment d’auto-efficacité ne déclareraient pas ressentir d’ennui, parce qu’elles ne sont pas perturbées dans la poursuite de leurs objectifs. Une explication possible à ce lien serait le fait que la propension à l’ennui augmente s’il faut investir beaucoup d’efforts dans une activité pour laquelle la personne ne se sent pas capable (Inzlicht et al, 2018). Kurzban et al. (2013) l’expliquent par les représentations mentales des coûts et des avantages associés à la réalisation d’une tâche. En articulant ces notions théoriques au lien négatif particulièrement élevé entre la dimension de Satisfaction du CRED et l’ennui (r = -0,410, p < 0,001), on pourrait imaginer qu’une étudiante sujette à l’ennui pourrait percevoir davantage de coûts associés aux tâches académiques et se trouver, par conséquent, moins satisfaite du climat relationnel de sa classe.

En outre, les liens négatifs entre l’ennui et la persévérance (r = -0,285, p < 0,001) peuvent illustrer l’idée de Breidenstein (2007) selon laquelle l’ennui implique nécessairement un détachement qui se traduirait dans le contexte éducatif aux niveaux des contenus, de la relation avec l’enseignant et de la relation avec les autres étudiantes. Or, en enseignement à distance, le manque d’interactions des étudiantes avec les enseignants et les autres étudiantes expliquerait une partie des mauvais résultats académiques (Bouhnik & Marcus, 2006). Ces éléments qui suggèrent l’existence d’un cercle vicieux entre l’ennui, le détachement et le climat de classe invitent à davantage étudier l’ennui dans le contexte de l’enseignement. Par exemple, il serait intéressant de mener une recherche vérifiant l’hypothèse de Martarelli et al. (2021) selon laquelle l’ennui pourrait diminuer quand augmente l’individualisation de l’apprentissage à distance.

Par ailleurs, les échelles retenues dans le CRED (et le CREU) afin de mesurer le climat de classe pourraient être utiles puisqu’elles corrèlent positivement ([0,162-0,307]) avec la persévérance autorapportée, une variable affective plébiscitée dans un grand nombre d’études sur l’enseignement (Anderson & Walberg, 1974 ; Baker et al., 2001 ; Fraser & Fisher, 1982 ; Haertel et al., 1983 ; Lial, 2019 ; Pittman & Haughwout, 1987).

Enfin, l’absence de lien entre performances académiques (les notes) et CRED s’inscrit dans un contexte d’inconsistance de la recherche à ce sujet. Certaines études ont révélé des liens significatifs entre le climat de classe et les performances (Wolters, 2014), d’autres une absence de lien (Anderman & Midgley, 1997) voire des liens négatifs (Murdock et al., 2001). Cette inconsistance s’explique parce que la plupart des études ne contrôlent pas la difficulté des tâches évaluées (Sarrazin et al., 2006) et par l’existence d’un biais d’attribution quand les notes sont données par l’enseignant (Genoud, 2004). Dans notre étude, toute comparaison est délicate parce que les méthodes et les sujets d’évaluation ont largement différé d’un enseignant à l’autre (examens écrits, oraux contrôles continus).

En somme, si la validité de construit (voir plus loin) du CRED a été partiellement corroborée, ses analyses de critère en ont renforcé l’intérêt opérationnel (Mortillaro & Bourgeois, 2021). L’utilisation du CRED peut apporter des informations qu’il est nécessaire de nuancer et de discuter, mais elle ne permet pas de piloter des décisions institutionnelles. C’est pourquoi, il est important d’insister sur les limites de cette recherche.