Abstracts
Résumé
La production et l’utilisation de données probantes sont au coeur des activités scientifiques et cliniques en psychoéducation, comme dans la plupart des disciplines en sciences humaines et de l’éducation. Or, qu’entend-t-on par ‘données probantes’ et plus encore, quels critères permettent d’avancer qu’un programme d’intervention préventive ou curative produit des données probantes? Cet article propose une grille d’analyse composée de critères pertinents à cette fin. Ces critères sont regroupés en cinq sections : les critères relatifs à la conception du programme ; les critères relatifs à la mise en oeuvre du programme ; les critères relatifs au choix du devis d’évaluation ; les critères relatifs au contrôle des sources d’invalidité interne ; et les critères relatifs à l’évaluation des effets. Ensemble, ces critères sont essentiels pour déterminer jusqu’à quel point les données obtenues à l’issue d’un processus d’évaluation d’un programme sont de nature probante. Une sixième section propose des critères relatifs à la diffusion du programme ; cette section est toutefois optionnelle pour l’obtention de données probantes.
Mots-clés :
- Programme,
- intervention,
- prévention,
- évaluation,
- données probantes
Abstract
Producing and using evidence-based data is an essential part of scientific and clinical work in Psychoeducation as well as in other disciplines of human and educational sciences. However, there is often ambiguity in what constitutes ‘evidence-based’ data and, importantly, it is not always clear whether such data effectively support a prevention or an intervention program. This paper proposes a set of criteria with the goal of clarifying these issues. These criteria are organized into five sections: those that refer to (1) the program planning phase; (2) the program implementation phase; (3) the evaluation design; (4) the internal validity of the evaluation process; and (5) the program effects. In all, these criteria should be viewed as necessary guideposts in determining whether data can be designated as evidence-based. A sixth (optional) section presents additional criteria to determine whether the program is ready for large scale dissemination.
Keywords:
- Program,
- intervention,
- prevention,
- evaluation,
- evidence-based data
Download the article in PDF to read it.
Download
Appendices
Bibliographie
- August, G. J., Egan, E. A., Realmuto, G. M. et Hektner, J. M. (2003). Four years of the early risers early-age-targeted preventive intervention: Effects on aggressive children’s peer relations. Behavior Therapy, 34 (4), 453-470.
- Campbell, D. T. et Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago, IL: Rand-McNally.
- Castro, F. G., Barrera, M. Jr. et Martinez, C. R. Jr. (2004). The cultural adaptation of prevention interventions: Resolving tensions between fidelity and fit. Prevention Science, 5(1), 41 45.
- Charlebois, P., Vitaro, F., Normandeau, S., Brendgen, M. et Rondeau, N. (2004). Trainers’ behavior and participants’ persistence in a longitudinal preventive intervention for disruptive boys. Journal of Primary Prevention, 25(3), 375-388.
- Charlebois, P., Vitaro, F., Normandeau, S., Lévesque, J. et Rondeau, N. (2006). Illustration des principes et des procédures d’implantation et d’évaluation d’un programme de prévention de type ciblé. Revue de psychoéducation, 35(1), 65-94.
- Chatterji, M. (2004). Evidence on “What Works”: An argument for extended-term mixed-method (ETMM) evaluation designs. Educational Researcher, 33(9), 3-13.
- Chen, H. T. (2005). Practical program evaluation: Assessing and improving planning, implementation, and effectiveness. Thousand Oaks, CA: Sage.
- Christensen, H. et Griffiths, K. (2007). Reaching standards for dissemination: A case study. Dans K. A. Kuhn, J. R. Warren et T.-Y. Leong (dir.), Medinfo 2007 - Proceedings of the 12th World Congress on Health (Medical) Informatics (pp. 459-463). Amsterdam, Pays-Bas: IOS Press.
- Cicchetti, D. et Cohen, D. J. (1995). Perspectives on developmental psychopathology. Dans D. Cicchetti et D. J. Cohen (dir.), Developmental psychopathology: Volume 1. Theory and methods (pp. 3-20). New York, NY: Wiley.
- Clark, H. et Anderson, A. A. (2004). Theories of change and logic models: Telling them apart. Communication à l’American Evaluation Association Conference.
- Cohen, J. (1977). Statistical power analysis for the behavioral sciences. New York, NY: Academic Press.
- Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45(12), 1304-1312.
- Couturier, Y., Gagnon, D. et Carrier, S. (2009). Management des conduites professionnelles par les résultats probants de la recherche. Une analyse critique. Criminologie, 42(1), 185-199.
- Dane, A. V. et Schneider, B. H. (1998). Program integrity in primary and early secondary prevention: Are implementation effects out of control? Clinical Psychology Review, 18(1), 23-45.
- Das, J. K., Salam, R. A., Lassi, Z. S., Khan, M. N., Mahmood, W., Patel, V. et Bhutta, Z. A. (2016). Interventions for adolescent mental health: an overview of systematic reviews. Journal of Adolescent Health, 59(4), S49-S60.
- Dodge, K. A., Dishion, T. J. et Lansford, J. E. (2006). Deviant peer influences in programs for youth: Problems and solutions. New York, NY: Guilford Press.
- Dodge, K. A., Greenberg, M. T., Malone, P. S. et CPPRG. (2008). Frequency distribution, 10,000 replications, no mediated effect, all continuous variables on-line. Child Development, 79(6), 1907-1927.
- Durlak, J. A. et DuPre, E. P. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41(3-4), 327-350.
- Fairchild, A. J. et MacKinnon, D. P. (2009). A general model for testing mediation and moderation effects. Prevention Science, 10(2), 87-99.
- Farrington, D. P., Gottfredson, D. C., Sherman, L. W. et Welsh, B. C. (2002). The Maryland Scientific Methods Scale. Dans L. W. Sherman, D. P. Farrington, B. C. Welsh et D. L. MacKenzie (dir.), Evidence-based crime prevention (pp. 13-21). New York, NY: Routledge.
- Flay, B. R., Biglan, A., Boruch, R. F., Castro, F. G., Gottfredson, D., Kellam, S., . . . Ji, P. (2005). Standards of evidence: Criteria for efficacy, effectiveness and dissemination. Prevention Science, 6(3), 151-175.
- Fortin, F., Lévesque, J. et Vitaro, F. (2007). La méta-analyse au service de l’intervention préventive et curative. Revue de psychoéducation, 36(1), 167-194.
- Fortin, M. F. et Gagnon, J. (2016). Fondements et étapes du processus de recherche : méthodes quantitatives et qualitatives (3e éd.). Montréal, QC: Chenelière Éducation.
- Gearing, R. E., El-Bassel, N., Ghesquiere, A., Baldwin, S., Gillies, J. et Ngeow, E. (2011). Major ingredients of fidelity: A review and scientific guide to improving quality of intervention research implementation. Clinical Psychology Review, 31(1), 79-88.
- Gupta, S. K. (2011). Intention-to-treat concept: A review. Perspectives in Clinical Research, 2(3), 109-112.
- Hayes, A. F. (2013). Introduction to mediation, moderation, and conditional process analysis. New-York, NY: Guilford Press.
- Hayes, J. (2018). The theory and practice of change management. London, United Kingdom: Palgrave.
- Kazdin, A. E. (2000). Psychotherapy for children and adolescents: Directions for research and practice. New-York, NY: Oxford University Press.
- Kirkpatrick, D. L. (1998). Evaluating training programs: The four levels. San Francisco, CA: Berrett-Koehler.
- Koole, S. L. et Lakens, D. (2012). Rewarding replications: A sure and simple way to improve psychological science. Perspectives on Psychological Science, 7(6), 608-614.
- Kratochwill, T. R., Hitchcock, J. H., Horner, R. H., Levin, J. R., Odom, S. L., Rindskopf, D. M. et Shadish, W. R. (2013). Single-case intervention research design standards. Remedial and Special Education, 34(1), 26-38.
- Lakens, D., Adolfi, F. G., Albers, C. J., Anvari, F., Apps, M. A., Argamon, S. E., . . . Bradford, D. E. (2018). Justify your alpha. Nature Human Behaviour, 2(3), 168-173.
- Le Petit Larousse illustré 2018. (2017). Paris, France: Larousse.
- McCord, J. (1992). The Cambride-Somerville Study: A pioneering longitudinal-experimental study of delinquency prevention. Dans J. McCord et R. E. Tremblay (dir.), Preventing antisocial behavior: Interventions from birth through adolescence (pp. 196-206). New York, NY: Guilford Press.
- McGraw, S. A., Stone, E. J., Osganian, S. K., Elder, J. P., Perry, C. L., Johnson, C. C., . . . Luepker, R. V. (1994). Design of process evaluation within the Child and Adolescent Trial for Cardiovascular Health (CATCH). Health Education Quaterly, Suppl 2, S5-26.
- Mercier, P. et Gagnon, M. (1998). Les protocoles de recherches pré, quasi et expérimentaux. Dans S. Bouchard et C. Cyr (dir.), Recherche psychosociale : pour harmoniser recherche et pratiques (2e ed., pp. 77-135). Sainte-Foy, QC: Presses de l’Université du Québec.
- Mirelman, A., Mentzakis, E., Kinter, E., Paolucci, F., Fordham, R., Ozawa, S., . . . Niessen, L. W. (2012). Decision-making criteria among national policymakers in five countries: A discrete choice experiment eliciting relative preferences for equity and efficiency. Value in Health, 15(3), 534-539.
- Normand, C., Vitaro, F. et Charlebois, P. (2000). Comment améliorer la participation et réduire l’attrition des participants aux programmes de prévention. Dans F. Vitaro et C. Gagnon (dir.), Prévention des problèmes d’adaptation chez les enfants et les adolescents. Tome 1 : Les problèmes internalisés (Vol. 1, pp. 101-140). Sainte-Foy, QC: Presses de l’Université du Québec.
- Petitclerc, A., Gatti, U., Vitaro, F. et Tremblay, R. E. (2013). Effects of juvenile court exposure on crime in young adulthood. Journal of Child Psychology and Psychiatry, 54(3), 291-297.
- Prendergast, M. L. (2011). Issues in defining and applying evidence-based practices criteria for treatment of criminal-justice involved clients. Journal of Psychoactive Drugs, 43(Sept, suppl. 7), 10-18.
- Reid, L. (1998). Les sources d’invalidité et de biais. Dans S. Bouchard et C. Cyr (dir.), Recherche psychosociale. Pour harmoniser recherche et pratique (2e éd., pp. 19-75). Sainte-Foy, QC: Presses de l’Université du Québec.
- Reinke, W. A. (1999). A multi-dimensional program evaluation model: considerations of cost-effectiveness, equity, quality and sustainability. The Canadian Journal of Program Evaluation, 14(2), 145-160.
- Rose, B. M., Holmbeck, G. N., Coakley, R. M. et Franks, E. A. (2004). Mediator and moderator effects in developmental and behavioral pediatric research. Journal of Developmental and Behavioral Pediatrics, 25(1), 58-67.
- Rosnow, R. L. et Rosenthal, R. (2003). Effect sizes for experimenting psychologists. Revue canadienne de psychologie expérimentale, 57(3), 221-237.
- Sackett, D. L., Rosenberg, W. M., Gray, J. M., Haynes, R. B. et Richardson, W. S. (1996). Evidence based medicine: what it is and what it isn’t. British Medical Journal, 312(7023), 71-72.
- Saussez, F. (2016). Les données probantes en éducation et l’arrimage recherche pratique : un regard critique. Document web : Université de Sherbrooke.
- Sedgwick, P. (2015). Intention-to-treat analysis versus per-protocol analysis of trial data. British Medical Journal, 350, h681.
- Shadish, W. R., Cook, T. D. et Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston, MA: Houghton Mifflin Company.
- Slavin, R. E. et Chambers, B. (2017). Evidence-based reform: Enhancing language and literacy in early childhood education. Early Child Development and Care, 187(3-4), 778-784.
- Sullivan, G. M. et Feinn, R. (2012). Using effect size—or why the P value is not enough. Journal of graduate medical education, 4(3), 279-282.
- Ten Have, T. R., Normand, S. L. T., Marcus, S. M., Brown, C. H., Lavori, P. et Duan, N. H. (2008). Intent-to-treat vs. non-intent-to-treat analyses under treatment non-adherence in mental health randomized trials. Psychiatric Annals, 38(12), 772-783.
- Tougas, A.-M. et Tourigny, M. (2012). L’étude des mécanismes de changement, une avenue de recherche prometteuse pour optimiser les programmes de traitement destinés aux jeunes en difficulté : enjeux conceptuels et méthodologiques. The Canadian Journal of Program Evaluation, 27(2), 61-86.
- Vitaro, F. (2000). Évaluation des programmes de prévention : Principes et procédures. Dans F. Vitaro et C. Gagnon (dir.), Prévention des problèmes d’adaptation chez les enfants et les adolescents. Tome I (pp. 67-99). Sainte-Foy, QC : Presses de l’Université du Québec.
- Vitaro, F. et Gagnon, C. (Eds.). (2003). Prévention des problèmes d’adaptation chez les enfants et les adolescents. Tome II. Sainte-Foy, QC : Presses de l’Université du Québec.
- Vitaro, F. et Tremblay, R. E. (2017). Developmental targeted prevention of conduct disorder and their related consequences [Online]. Dans H. Pontell (dir.), Oxford Research Encyclopedia of Criminology. Oxford, United Kingdom: Oxford Press.
- Waters, E., Doyle, J., Jackson, N., Howes, F., Brunton, G. et Oakley, A. (2006). Evaluating the effectiveness of public health interventions: The role and activities of the Cochrane Collaboration. Journal of Epidemiology and Community Health, 60(4), 285-289.
- Whitley, B. (2002). Principles of research in behavioral science (2e éd.). Boston, MA: McGraw-Hill.
- Wong, C., Odom, S. L., Hume, K. A., Cox, A. W., Fettig, A., Kucharczyk, S., . . . Schultz, T. R. (2015). Evidence-based practices for children, youth, and young adults with Autism Spectrum Disorder: A comprehensive review. Journal of Autism and Developmental Disorders, 45(7), 1951-1966.