Abstracts
Résumé
La présente étude examine la possibilité d’évaluer avec un bon niveau de fiabilité l’habileté des élèves à déterminer le résultat d’une chaîne d’opérations en respectant la priorité des opérations. Selon le devis de recherche, deux facteurs liés à l’énoncé du problème ont été manipulés : son degré de réalisme et la complétude de ses données. À la suite d’une préexpérimentation, un ensemble de 12 problèmes ont été présentés à 82 élèves québécois de première secondaire. Afin d’évaluer les qualités édumétriques du dispositif d’évaluation constitué, les données ont été analysées au moyen de la théorie de la généralisabilité. Des coefficients de généralisabilité inférieurs à la limite jugée satisfaisante révèlent que le dispositif d’évaluation n’est pas assez fiable pour assurer la différenciation des élèves en regard de leur habileté à déterminer le résultat d’une chaîne d’opérations. Les résultats démontrent la difficulté d’évaluer avec un bon niveau de fiabilité l’habileté des élèves lorsque sont manipulés deux facteurs liés à l’énoncé du problème : son degré de réalisme et la complétude de ses données.
Mots-clés :
- approche par compétences,
- ressources,
- théorie de la généralisabilité,
- résolution de problèmes mathématiques
Abstract
This study examines the possibility of assessing with a good level of reliability students’ ability to compute a sequence of operations using the correct order of operations. Based on a research design, two factors linked to the problem statement were manipulated: degree of realism and data completeness. Following a pretest, 12 problems were administered to 82 first grade secondary students from the province of Quebec. In order to assess the edumetric qualities of the evaluation design, the data were analyzed using generalizability theory. The generalizability coefficients were lower than the limit considered to be satisfactory, thus indicating that the evaluation design is not reliable enough to allow the differentiation of students’ ability in computing a sequence of operations. The results demonstrate the difficulty to assess with a good level of reliability students’ ability when two factors linked to the problem statement are manipulated: degree of realism and data completeness.
Keywords:
- competency-based approach,
- resources,
- theory of generalizability,
- mathematical problems solving
Resumo
O presente estudo examina a possibilidade de avaliar com um bom nível de habilidade os alunos para determinar o resultado de uma cadeia de operações respeitando a prioridade das operações. Segundo o desenho da investigação, dois fatores ligados ao enunciado do problema foram manipulados: o seu grau de realismo e a completude dos seus dados. Na sequência de um pré-teste, um conjunto de 12 problemas foram apresentados a 82 alunos do Quebeque do primeiro ciclo do ensino secundário. A fim de avaliar as qualidades edumétricas do dispositivo de avaliação constituído, os dados foram analisados através da teoria da generalizabilidade. Os coeficientes de generalizabilidade inferiores ao limite considerado satisfatório revelam que o dispositivo de avaliação não é suficientemente fiável para assegurar a diferenciação dos alunos em função da sua habilidade para determinar o resultado de uma cadeia de operações. Os resultados demonstram a dificuldade de avaliar com um bom nível de fiabilidade a habilidade dos alunos quando são manipulados dois fatores ligados ao enunciado do problema: o seu grau de realismo e a completude dos seus dados.
Palavras chaves:
- abordagem por competências,
- recursos,
- teoria da generalizabilidade,
- resolução de problemas matemáticos
Appendices
Références
- Bain, D., & Pini, G. (1996). Pour évaluer vos évaluations. La généralisabilité : mode d’emploi. Genève, Suisse : Centre de recherches psychopédagogiques.
- Caldwell, J. H., & Goldin, G. A. (1979). Variables affecting word problem difficulty in elementary school mathematics. Journal for Research in Mathematics Education, 10(5), 323-336. doi: 10.2307/748444
- Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. New York, NY: Routledge.
- Hébert, M.-H. (2006). L’interaction statistique Élèves × Tâches comme source d’erreur de mesure en évaluation des apprentissages dans une approche par compétences (Mémoire de maîtrise inédit). Université Laval, Québec.
- Hébert, M.-H., Valois, P., & Frenette, É. (2008). La validation d’outils alternatifs d’évaluation des apprentissages : progressiste ou rétrograde ? Repéré à https://plone2.unige.ch/admee08/communications-individuelles/v-a1/v-a1-1
- Lane, S., Liu, M., Ankenmann, R. D., & Stone, C. A. (1996). Generalizability and validity of a mathematics performance assessment. Journal of Educational Measurement, 33(1), 71-92. doi: 10.1111/j.1745-3984.1996.tb00480.x
- Li, F. L. N. (1990). The effect of superfluous information on children’s solution of story arithmetic problems. Educational Studies in Mathematics, 21(6), 509-520. doi: 10.1007/BF00315942
- Linacre, J. M. (1994). Sample size and item calibration (or person measure) stability. Rasch Measurement Transactions, 7(4), 328.
- Linacre, J. M. (2001). Winsteps (version 3.32) [Computer Software]. Chicago, IL: Winsteps.com.
- Linn, R. L., & Burton, E. (1994). Performance-based assessment: Implications of task specificity. Educational Measurement: Issues and Practice, 13(1), 5-8. doi: 10. 1111/j.1745-3992.1994.tb00778.x
- Ministère de l’Éducation du Québec (1988). Guide pédagogique. Primaire. Mathématique. Résolution de problèmes. Orientation générale (Fascicule K). Québec, QC : Gouvernement du Québec.
- Ministère de l’Éducation du Québec (1993). Programme d’études. Mathématique 116. Enseignement secondaire. Québec, QC : Gouvernement du Québec.
- Ministère de l’Éducation, du Loisir et du Sport (2006a). Programme de formation de l’école québécoise. Enseignement secondaire, premier cycle. Québec, QC : Gouver-nement du Québec.
- Ministère de l’Éducation, du Loisir et du Sport (2006b). L’évaluation des apprentissages au secondaire. Cadre de référence. Québec, QC : Gouvernement du Québec.
- Ministère de l’Éducation, du Loisir et du Sport (2006c). L’évaluation des compétences disciplinaires et la place des connaissances. Questions et éléments de réponse. Principales références dans les encadrements ministériels. Québec, QC : Gouver-nement du Québec.
- Ministère de l’Éducation, du Loisir et du Sport (2010a). Progression des apprentissages au secondaire. Mathématique. Repéré à http://www.mels.gouv.qc.ca/progression/secondaire/mathematique/
- Ministère de l’Éducation, du Loisir et du Sport (2010b). Évaluation des connaissances – Un nouveau bulletin unique qui reflétera mieux l’évaluation des connaissances des élèves. Communiqué de presse du 11 juin 2010. Repéré à http://www.mels.gouv.qc.ca/salle-de-presse/communiques-de-presse/detail/article/emevaluation-des-connaissancesem-un-nouveau-bulletin-unique-qui-refletera-mieux-levalua-1/
- Ministère de l’Éducation, du Loisir et du Sport (2011). Cadre d’évaluation des apprentissages. Mathématique. Enseignement secondaire. 1er et 2e cycle. Repéré à https://www7.mels.gouv.qc.ca/dc/evaluation/index.php?page=recherche
- Pini, G., & Hexel, D. (1998). La théorie de la généralisabilité appliquée à un instrument de mesure des attitudes face à l’apprentissage d’une langue étrangère. Éducation et recherche, 20(2), 289-302.
- Randhawa, B. S., & Hunter, D. M. (2001). Validity of performance assessment in mathematics for early adolescents. Canadian Journal of Behavioural Science, 33(1), 14-24. doi: 10.1037/h0087124
- Shavelson, R. J., Baxter, G. P., & Gao, X. (1993). Sampling variability of performance assessments. Journal of Educational Measurement, 30(3), 215-232. doi: 10.1111/j. 1745-3984.1993.tb00424.x