EN :

Seeking evidence to support content validity is essential to test validation. This is especially the case in contexts where test scores are interpreted in relation to external proficiency standards and where new test content is constantly being produced to meet test administration and security demands. In this paper, we describe a modified scale- anchoring approach to assessing the alignment between the Canadian English Language Proficiency Index Program (CELPIP) test and the Canadian Language Benchmarks (CLB), the proficiency framework to which the test scores are linked. We discuss how proficiency frameworks such as the CLB can be used to support the content validation of large-scale standardized tests through an evaluation of the alignment between the test content and the performance standards. By sharing both the positive implications and challenges of working with the CLB in high-stakes language test validation, we hope to help raise the profile of this national language framework among scholars and practitioners.

FR :

La recherche sur la validité du contenu est essentielle à la validation des tests. Cette recherche est encore plus importante dans les contextes où les résultats des tests sont interprétés par rapport à des normes de compétence externes et dont le contenu du test est constamment révisé pour répondre aux exigences de l'administration et de la sécurité du test. Dans cet article, nous décrivons une approche d'ancrage d'échelle modifiée pour évaluer l’alignement entre le test du Canadian English Language Proficiency Index Program (CELPIP) et les Canadian Lagunage Benchmarks (CLB), le cadre de compétence linguistique auquel les résultats du test sont liés. Nous discutons comment les cadres de compétence tels que le CLB peuvent être utilisés pour soutenir la validation du contenu des tests standardisés à grandes échelles grâce à l’évaluation de l'alignement entre le contenu du test et les normes de performance. Nous évaluons les forces et les défis de l’utilisation du CLB comme outil de validation des tests linguistiques à enjeux élevés et ce faisant nous espérons contribuer à relever le profil de ce cadre linguistique national auprès des universitaires et des praticiens.

FR :

En 2015, le CIEP a mené une étude afin de pouvoir adosser les productions écrites et orales du Test de connaissance de français (TCF) aux NCLC et d’établir une correspondance avec les niveaux du CECRL. In fine, Il s’agissait d’assurer aux candidats à l’immigration au Canada une bonne interprétation de leur niveau de compétence et de pouvoir expliquer les procédures mise en place pour l’interprétation des scores. Pour assurer l’adossement des épreuves d’expression écrites et orales du TCF aux niveaux NCLC, plusieurs procédures et études ont été mises en place : utilisation des niveaux CECR attribués à une sélection de productions au cours des corrections du TCF, séminaire organisé avec des panélistes pour attribuer des niveaux NCLC à ces mêmes productions, analyses psychométriques pour le calibrage de la sélection de productions, évaluation du lien entre les niveaux attribués avec les deux échelles (NCLC et CECR) afin de vérifier la convergence des résultats, analyses qualitatives des descripteurs NCLC et CECR et mise en correspondance.

EN :

In 2015, the CIEP conducted a study in order to be able to align the written and oral productions of the Test de connaissance de français (TCF) with the NCLC and to establish a correspondence with the levels of the CEFR. Ultimately, it was a question of ensuring candidates for immigration to Canada a good interpretation of their skill level and of being able to explain the procedures put in place for the interpretation of scores. To ensure the backing of the written and oral expression tests of the TCF at the NCLC levels, several procedures and studies have been put in place: use of the CEFR levels attributed to a selection of productions during the TCF corrections, seminar organized with panellists to assign NCLC levels to these same productions, psychometric analyses for the calibration of the selection of productions, evaluation of the link between the levels assigned with the two scales (NCLC and CECR) in order to check the convergence of results, qualitative analyses of descriptors NCLC and CEFR and mapping.

EN :

Internationally educated nurses’ (IENs) English language proficiency is critical to professional licensure as communication is a key competency for safe practice. The Canadian English Language Benchmark Assessment for Nurses (CELBAN) is Canada’s only Canadian Language Benchmarks (CLB) referenced examination used in the context of healthcare regulation. This high-stakes assessment claims proof of proficiency for IENs seeking licensure in Canada and a measure of public safety for nursing regulators. Understanding the quality of rater performance when examination results are used for high-stakes decisions is crucial to maintaining speaking test quality as it involves judgement, and thus requires strong reliability evidence (Koizumi et al., 2017). This study examined rater performance on the CELBAN Speaking component using a Many-Facets Rasch Measurement (MFRM). Specifically, this study identified CELBAN rater reliability in terms of consistency and severity, rating bias, and use of rating scale. The study was based on a sample of 115 raters across eight test sites in Canada and results on 2698 examinations across four parallel versions. Findings demonstrated relatively high inter-rater reliability and intra-rater reliability, and that CLB-based speaking descriptors (CLB 6-9) provided sufficient information for raters to discriminate examinees’ oral proficiency. There was no influence of test site or test version, offering validity evidence to support test use for high-stakes purposes. Grammar, among the eight speaking criteria, was identified as the most difficult criterion on the scale, and the one demonstrating most rater bias. This study highlights the value of MFRM analysis in rater performance research with implications for rater training. This study is one of the first research studies using MFRM with a CLB-referenced high-stakes assessment within the Canadian context.

FR :

Les compétences linguistiques dans la langue anglaise chez des infirmiers et infirmières ayant reçu leur éducation à l’étranger s’avèrent critiques à l’acquisition du permis professionnel d’exercer leur profession, car les compétences communicatives sont clé à la pratique sécuritaire. L’examen langagier des compétences de langue anglaise The Canadian English Language Benchmark Assessment for Nurses (CELBAN) demeure le seul examen langagier référentiel canadien auquel on fait référence dans le contexte canadien des règlements de contrôle du système de santé. Cet examen à enjeux élevés offre une preuve de compétence langagière de langue anglaise de la part des infirmiers et infirmières ayant reçu leur formation professionnelle à l’étranger et qui sont à la recherche d’un permis pour exercer leur profession au Canada, ainsi qu’une mesure de sécurité publique destinée aux régulateurs de la profession d’infirmiers et infirmières. Comprendre la qualité de la performance des évaluateurs/trices étant donné que les résultats servent à des décisions sur des enjeux importants demeure fondamental au maintien de la qualité de l’épreuve des compétences orales, car celle-ci implique le jugement et donc nécessite de fortes évidences de fiabilité (Koizumi, et coll. 2017). Cette étude a examiné la performance d’évaluateur/trice sur la composante des compétences orales du CELBAN en utilisant la mesure multifacette Rasch (MMFR). Spécifiquement, cette étude a identifié la fiabilité des évaluateurs/trices, la difficulté des critères, le parti pris de l’évaluation et l’usage de l’échelle de classification. Cette étude s’est basée sur un échantillon de 115 évaluateurs/trices dans huit centres d’évaluation au Canada et sur les résultats de 2.698 évaluations dans quatre versions parallèles. Les résultats démontrent une haute fiabilité relative entre évaluateurs/trices ainsi que sur le plan des intraévaluateurs/trices. De plus, les descripteurs des compétences orales de base des Compétences linguistiques canadiennes (CLC 6-9) ont fourni suffisamment d’information afin de permettre aux évaluateurs/trices de préciser le niveau de compétences du candidat / de la candidate. Il n’y a pas eu d’influence du site de l’examen ni de la version de celui-ci, ce qui offre de l’évidence de validité afin d’affirmer l’usage de cette épreuve pour des enjeux importants. La grammaire, une des huit critères, a été relevée comme étant celle la plus difficile sur l’échelle, et celle qui a mis en lumière le plus grand parti pris de la part des évaluateurs/trices. Cette étude accentue la valeur de l’analyse en effectuant la mesure multifacette Rasch dans des recherches de performance ayant des implications pour l’entraînement des évaluateurs/trices. Cette étude est parmi les premières se servant de la MMFR avec une évaluation à enjeux élevés à base des CLC dans le contexte canadien.

EN :

This qualitative validation study examines sixteen Internationally Educated Nurses’ (IENs’) accounts of the Canadian English Language Benchmark Assessment for Nurses (CELBAN) at two testing centres (Toronto and Hamilton). This study adopts both focus groups and one-on-one interviews to investigate the inferences drawn from the test, and its consequences. Focus groups and interviews were conducted using an adapted interview guide utilized in the TOEFL iBT investigation of test-taker accounts of construct representation and construct irrelevant variance (DeLuca et al., 2013). While construct representation describes the degree of authenticity in the presentation of Canadian English language nursing tasks, construct irrelevant variance refers to potential factors impacting the test-taking experience which might contribute to a score variance that was not reflective of test-taker knowledge of the testing constructs (Messick, 1989, 1991, 1996). In this study, test-taker accounts of construct representation and construct irrelevant variance constituted the data which were coded and analyzed abductively via the sensitizing concepts derived from DeLuca et al., and Cheng and DeLuca (2011) on examining test-takers’ experience and their contribution to validity. Seven themes emerged, answering four research questions: How do IENs characterize their test experience? How do IENs describe the assessment constructs? What, if any, sources of Construct Irrelevant Variance (CIV) do IENs describe? Do IENs feel the language tasks are authentic? Overall, participants reported positive experiences with the CELBAN, while identifying some possible sources of CIV. Given the CELBAN’s widespread use for high-stakes decisions (a component of nursing certification and licensure), further research of IEN-test-taker responses to construct representation and construct irrelevant variance will remain critical to our understanding of the role of language competency testing for IENs.

FR :

Cette étude qualitative de validation examine les témoignages de seize infirmières et infirmiers formés à l’étranger (IFE), à propos du test Canadian English Language Benchmark Assessment for Nurses (CELBAN), dans deux centres d’examen (Toronto et Hamilton). Cette étude adopte à la fois des groupes de discussion et des entretiens en tête à tête afin d’enquêter sur les inférences tirées du test et ses conséquences. Les groupes de discussion et les entretiens ont été menés avec un guide d’entretien adapté, celui-ci utilisé dans l’enquête TOEFL iBT consistant de témoignages des candidats au CELBAN sur la représentation des construis et la variance non pertinente des construis (DeLuca et coll., 2013). Tandis que la représentation des construis décrit le degré d’authenticité qui se trouve dans la présentation des tâches des infirmières et infirmiers en anglais canadien, la variance non pertinente des construis fait référence aux facteurs potentiels qui pourraient influencer l’expérience de passation du test, et qui pourraient contribuer à une variance de résultats ne reflétant pas les connaissances des construis d’évaluation que possède le candidat (Messick, 1989, 1991, 1996). Dans cette étude, les témoignages des candidats sur la représentation des construis et la variance non pertinente des construis constituent les données codées et analysées de manière abrégée à travers les concepts de sensibilisé dérivés de Cheng et coll. et de Cheng et DeLuca (2011) sur l’expérience des candidats et leur contribution à la validité. Sept thèmes ont émergé, qui répondaient à quatre questions de recherche : comment les IFE représentent-ils l’expérience de passation du test ? Comment les IFE décrivent-ils les construis d’évaluation ? Quelles, s’il y en a, sources de la variance non pertinente des construis (VNC) les candidats décrivent-ils ? Les IFE pensent-ils que les tâches de langue sont authentiques ? Dans l’ensemble, les participants ont rapporté des expériences positives avec le CELBAN, en identifiant aussi quelques sources possibles de VNC. Étant donné l’usage répandu du CELBAN pour des décisions à enjeux élevés (une composante de la certification et du permis d’exercer des infirmières et infirmiers), d’autres recherches sur les réponses des candidats IFE à la représentation des construis et de la variance non pertinente des construis resteront cruciales à notre compréhension du rôle de l’évaluation des niveaux de compétence linguistique chez les IFE.

EN :

This study examined the oral language skills of grade-two anglophone children enrolled in French Immersion and English-stream programs. The study had two objectives: (a) to compare performance between the groups on measures of receptive vocabulary, narrative comprehension, and narrative production (i.e., structure and language) in English, and (b) to explore the applicability of the Canadian Language Benchmarks/Niveaux de compétences linguistiques canadiens (CLB/NCLC) to assessment of their conversational competency. All children (English-stream n = 27, French Immersion n = 33, aged 7-8 years) were tested in English. In addition, the French Immersion students were tested using equivalent measures in French. The results comparing performance in English revealed no differences between the groups on receptive vocabulary, narrative comprehension and narrative structure. However, the English-stream children outperformed their French Immersion peers in narrative language. Furthermore, CLB/NCLC listening and speaking criteria were applied to conversational samples yielding level scores in English (both groups) and French (French Immersion only). The range of benchmarks that are appropriate for this population is discussed in detail.

FR :

Cette étude compare les habiletés langagières orales en anglais et en français d’élèves anglophones de deuxième année, scolarisés en anglais ou en immersion française. L’étude avait deux objectifs : (1) comparer les performances des deux groupes d’enfants sur un test de vocabulaire réceptif, de compréhension narrative et de production narrative (c.-à-d., structure et langage narratifs) en anglais (2) tester l’applicabilité des Niveaux de compétences linguistiques canadiens (CLB/NCLC) à l’évaluation de la fluidité conversationnelle chez les enfants en anglais et en français. Vingt-sept enfants scolarisés en anglais et 33 enfants scolarisés en immersion française, tous âgés de 7 à 8 ans, ont été évalués en anglais. Les enfants en immersion française ont aussi été évalués en français au moyen de tests de vocabulaire réceptif et de compétences narratives équivalents à ceux utilisés en anglais. Les résultats comparatifs en anglais ne révélaient aucune différence entre les deux groupes quant au vocabulaire réceptif et à la compréhension et la structure narratives en anglais. Cependant, la performance des élèves scolarisés en anglais était supérieure à celle des élèves en immersion française quant au langage narratif. De plus, les critères des CLB/NCLC portant sur la compréhension et l’expression orales ont été transposés aux échantillons de langage conversationnel recueillis, donnant des scores de niveau en anglais et en français. Enfin, la gamme de niveaux pouvant être transposés à cette population est discutée en détail.

EN :

To ensure quality of education, a language framework should be the foundation on which second language curricula are developed. In 2010, the Council of Ministers of Education, Canada (CMEC), as suggested by Vandergrift (2006a, 2006b), recommended the use of the Common European Framework of Reference (CEFR) in the K-12 Canadian school context and presented several considerations for adaptation before it should be adopted and used. Although the CEFR is partially used across Canada, few of the CMEC’s considerations have been met to date. Given this state of affairs, we suggest the made-in-Canada, Canadian Language Benchmarks and les Niveaux de compétence linguistique canadiens (CLB/NCLC) as an alternative. We argue that the CLB/NCLC, profoundly revised in 2012, best embrace the Canadian context and, using Vandergrift’s criteria for a valid language framework, that CLB/NCLC are now superior to the CEFR in many aspects.

FR :

Pour garantir une éducation de qualité, un cadre linguistique devrait être l’assise sur laquelle les programmes de langue seconde sont élaborés. En 2010, le Conseil des ministres de l’Éducation, Canada (CMEC), comme l’a suggéré Vandergrift (2006a, 2006b), a recommandé l'utilisation du Cadre européen commun de référence (CECR) dans le contexte scolaire canadien et a présenté plusieurs considérations pour son adaptation avant qu’il ne soit adopté et utilisé. Bien que le CECR soit partiellement utilisé au Canada, peu des considérations du CMEC ont été introduites à ce jour. Compte tenu de cet état de fait, nous suggérons l’alternative canadienne, les Canadian Language Benchmarks et les Niveaux de compétence linguistique canadiens (CLB/NCLC). Nous soutenons que les CLB/NCLC, profondément révisés en 2012, correspondent le mieux au contexte canadien et, en utilisant les critères de Vandergrift pour un cadre linguistique valide, que les CLB/NCLC sont maintenant, à bien des égards, supérieurs au CECR.

EN :

This study examined seven Language Instruction for Newcomers to Canada (LINC) teachers’ accounts of current Portfolio Based Language Assessment (PBLA) practices, elicited through semi-structured interviews, in order to explore washback - the effects of PBLA on teaching and learning. Portfolios are primarily useful as formative assessment tools (i.e., informing teaching and learning) (Fox, 2014; Little, 2007); conversely, when used solely as summative tools (i.e., achievement measures), they can result in portfolio prisons, which undermine teaching and learning (Hargreaves et al., 2002). To investigate the washback effect of PBLA, data were qualitatively analyzed, synthesized, and merged in development of recurring themes (Charmaz, 2006). Findings suggest that PBLA may have had washback on both teaching and learning. However, teachers’ individual classroom situations determined the direction and intensity of reported PBLA washback. The study highlights leverage points (Fox, 2004) where interventions (e.g., additional support, resources) might address negative washback.

FR :

Cette étude a examiné sept rapports d’enseignants de cours de Language Instruction for Newcomers to Canada (LINC) sur les pratiques actuelles de l’Évaluation linguistique basée sur le Portfolio (ELBP), obtenus au moyen d’entrevues semi-structurées, afin d’explorer les effets de retour (washback) du ELBP sur l’enseignement et l’apprentissage. Les portfolios sont principalement utiles comme outils d'évaluation formative (c.-à-d. pour renseigner sur l'enseignement et l'apprentissage) (Fox, 2014; Little, 2007); à l'inverse, lorsqu'ils sont utilisés uniquement comme des outils sommatifs (c'est-à-dire des mesures de réussite), ils peuvent entraîner des effets d’emprisonnement par les portfolios, ce qui sape l'enseignement et l'apprentissage (Hargreaves, Earl & Schmidt, 2002). Pour étudier l’effet de retour des données de l’ELBP, ces données ont été analysées qualitativement, synthétisées et fusionnées dans le développement de thèmes récurrents (Charmaz, 2006). Les résultats suggèrent que l’ELBP peut avoir eu un effet de retour à la fois sur l'enseignement et l'apprentissage. Cependant, les situations individuelles des enseignants en classe ont déterminé la direction et l’intensité de l’effet du retour rapporté à l’ELBP. L'étude met en évidence des points de levier (Fox, 2004) où les interventions (par exemple, un soutien supplémentaire, des ressources) pourraient remédier à l’effet de retour négatif.

EN :

While the Canadian Language Benchmarks (CLB) document has been a milestone in supporting the teaching of English as an additional language to adults in Canada, few studies examined practitioners’ experiences with the language standard. The expectation of ongoing use of the CLB by teachers in the Language Instruction for Newcomers to Canada (LINC) program became a rigid requirement with the implementation of portfolio-based language assessment (PBLA). However, the CLB-related literature has been mostly conceptual and aspirational, while practitioners’ voices have been on the margins of research and policy making. This article examines teacher comments on the CLB, as collected during a large mixed-methods exploratory project on PBLA implementation (Desyatova, 2018, 2020). While some practitioners appreciated the standard and its impact, the majority of comments reflected comprehensibility and interpretation challenges, experienced by both teachers and learners. These challenges were further aggravated by the pressures of PBLA as a mandatory assessment protocol.

FR :

Tandis que le document des Niveaux de compétence linguistique canadiens (NCLC) a été une étape importante en soutenant l’enseignement de l’anglais comme langue additionnelle aux adultes au Canada, peu d’études ont examiné l’expérience des praticiens avec le standard de la langue. L’attente de l’utilisation continue des NCLC par les enseignants dans le programme Cours de langue pour les immigrants au Canada (CLIC) est devenue une exigence rigide avec la mise en œuvre de l’évaluation linguistique basée sur le portfolio (ELBP). Toutefois, les écrits scientifiques reliés aux NCLC ont été principalement conceptuels et aspirationels, tandis que les voix des praticiens du sujet étaient mises en marge de la recherche et de l’élaboration des politiques. Cet article a examiné les commentaires des enseignants sur les NCLC, tel que collecté pendant un grand projet exploratoire de méthodes mixtes sur la mise en œuvre de l’ELBP (Desyatova 2018, 2020). Tandis que quelques praticiens ont apprécié ce standard et son impact, la majorité des commentaires a reflété des problèmes dans la compréhensibilité et l’interprétation, éprouvés par les enseignants ainsi que les apprenants. Ces problèmes ont été aggravés encore plus par la pression de l’ELBP comme protocole d’évaluation obligatoire.

EN :

Striving for greater English proficiency and securing a job are common goals of newcomers to Canada. For newcomers in the Language Instruction for Newcomers to Canada (LINC) program, the Canadian Language Benchmarks (CLB)/Niveaux de competence linguistique canadiens (NCLC) provide an indicator of their abilities and progress in their language acquisition. The CLB have become the backbone of WorkLINC, an industry-specific work readiness program. They anchor curriculum, Portfolio-Based Language Assessment (PBLA) real-world tasks, and classroom activities. WorkLINC participants develop their vocabulary, soft skills, workplace safety knowledge, and get employment support. Instructors have shared the CLB with employers and community partners to increase comprehension of newcomers’ language levels. Though there are challenges meeting the diverse needs in multi-level cohorts, engaging learners about the purpose of classroom tasks and understanding the CLB competency areas in which they need development enables them to focus on achievable goals directly related to their employment aspirations.

FR :

S’efforcer de mieux maîtriser l’anglais et se trouver un emploi sont des buts communs des nouveaux arrivants au Canada. Pour les nouveaux arrivants au programme Cours de langue pour les immigrants au Canada (CLIC), les Niveaux de compétence linguistique canadiens (NCLC) fournissent un indicateur de leurs capacités et de leurs progrès dans leur acquisition linguistique. Les NCLC sont devenus le pilier de WorkLINC, un programme de préparation au marché du travail propre à l’industrie. Ils soutiennent le curriculum, les tâches du monde réel de l’évaluation linguistique basée sur le portfolio (ELBP) et les activités en classe. Les participants à WorkLINC perfectionnent leur vocabulaire, leurs compétences non techniques et leurs connaissances de la sécurité au travail, et obtiennent du soutien à l’emploi. Les instructeurs ont partagé les NCLC avec des employeurs et des partenaires communautaires afin d’accroître la compréhension des niveaux linguistiques des nouveaux arrivants. Bien qu’il y ait des défis à relever pour répondre aux divers besoins de cohortes multiniveaux, le fait d’intéresser les apprenants au but des tâches en classe et de leur faire comprendre les domaines de compétence des NCLC dans lesquels ils ont besoin de perfectionnement leur permet de se concentrer sur les buts réalisables directement liés à leurs aspirations en matière d’emploi.

EN :

Teaching multilingual, multilevel language classes presents many challenges including helping students learn level-appropriate language. This learner-centred approach is complicated in a multilevel classroom where the teacher cannot always focus on each student’s needs. As a result, learner motivation and attendance are frequent problems. This article details the adaptation of the Canadian Language Benchmarks (CLB) into a badge system to help learners in a community English as a Second Language (ESL) program set and track personalized language learning goals. The authors explain the purposes of badges, including motivation and assessment, and describe how to create a CLB-based badge system for curriculum and assessment purposes. The authors also share feedback from students and instructors in the community ESL program about the badge-based curriculum.

FR :

L'enseignement dans des classes multilingues et à multiniveaux présente de nombreux défis, y compris la nécessité d'aider les étudiants à apprendre et à pratiquer la langue de manière adaptée à leur niveau. Cette approche centrée sur l'étudiant est compliquée dans une classe à niveaux multiples, où l'enseignant ne peut pas toujours se concentrer sur les besoins de chaque étudiant. Par conséquent, la motivation et l'assiduité des étudiants sont un problème fréquent. Cet article détaille l'adaptation des Niveaux de Compétence linguistique canadiens (NCLC) à un système de badges, pour aider les étudiants dans un programme communautaire d'anglais langue seconde (ALS) à définir et à suivre des objectifs d'apprentissage linguistique personnalisés. Les auteurs expliquent les objectifs des badges, y compris la motivation et l'évaluation, et décrivent comment créer un système de badges basé sur le NCLC en l’incorporant à leur curriculum et leur système d’évaluation. Les auteurs partagent également les commentaires des étudiants et des instructeurs du programme communautaire d'anglais langue seconde vis-à-vis le curriculum basé sur les badges.