Abstracts
Résumé
Au cours de la dernière décennie, les langages contrôlés (LC) ont toujours été l’objet d’une attention accrue en traduction automatique (TA). La majorité des études ont porté sur l’impact des LC sur la qualité du produit final de la TA, mais très peu d’entre elles se sont intéressées à l’impact de la TA sur l’accessibilité des textes cibles pour les personnes à besoins particuliers. Cet article vise à combler cette lacune. Il cherche à déterminer, par le biais d’une étude linguistique comparative, si les systèmes de TA génériques constituent une option viable pour produire, à partir de textes simplifiés sources, des textes cibles faciles à lire et à comprendre (FALC). Nous avons testé trois outils génériques de TA (DeepL, Google Translate et Yandex) avec des textes FALC de trois domaines différents, dans quatre paires de langues. Les résultats montrent que DeepL est l’outil le plus performant et que l’espagnol et les textes administratifs restent ceux qui occasionnent le plus de problèmes pour la TA. En ce qui concerne l’évaluation de l’accessibilité linguistique, les problèmes aux niveaux lexical et stylistique sont les plus nombreux. Même si la TA ne produit pas encore des textes FALC acceptables, notre étude en souligne le potentiel et met l’accent sur la difficulté de créer du contenu multilingue accessible pour tous.
Mots-clés :
- traduction automatique,
- accessibilité,
- facile à lire et à comprendre,
- DQF-MQM,
- étude comparative
Abstract
Over the last decade, controlled languages (CL) have received increased attention in machine translation (MT) research. The vast majority of studies have dealt with the impact of CLs on the quality of the final MT output, but very little work has focused on the impact of MT on the accessibility of target texts for people with special needs. This article represents a first attempt to bridge this gap. We present a comparative linguistic study that seeks to explore whether MT systems are a viable option for translating texts that are easy to read and understand (EtR). We tested DeepL, Google Translate, and Yandex with EtR texts from three different domains in four language pairs. Findings show that DeepL is the highest-performing system, and that Spanish and administrative texts in particular seem to present more challenges. The evaluation of the MT output in terms of linguistic accessibility indicates that the highest number of issues are found at a lexical and stylistic level. Although MT systems do not generate EtR texts of acceptable quality yet, our study highlights the potential of this tool, as well as the challenges of creating multilingual content that is accessible for all.
Keywords:
- machine Translation,
- accessibility,
- easy-to-read,
- DQF-MQM,
- comparative study
Resumen
A lo largo de la última década, la aplicación de lenguajes controlados (LC) ha sido objeto de estudio en numerosos trabajos de investigación sobre traducción automática (MT). Muchos de ellos se han centrado en analizar el efecto del uso de LC en la calidad del producto final, pero apenas existen estudios que hayan explorado el impacto de la TA en la accesibilidad de los textos meta para las personas con discapacidad. El presente artículo busca contribuir al estado de la cuestión en dicha materia. A través de un estudio lingüístico comparativo, hemos querido comprender si los sistemas de TA son una opción viable para traducir textos en lectura fácil (LF). En el estudio se evaluaron tres sistemas (DeepL, Google Translate y Yandex) con textos en LF de tres campos diferentes, en cuatro combinaciones lingüísticas. Los resultados indican que DeepL es el sistema más eficiente, y que el español y los textos administrativos presentan más dificultades para la TA. En términos de accesibilidad lingüística, se han observado más problemas a nivel léxico y estilístico. Si bien la TA todavía no genera contenido en LF de una calidad aceptable, nuestro estudio destaca el potencial de este tipo de herramientas, así como los retos que supone crear contenido multilingüe que sea accesible para todos.
Palabras clave:
- traducción automática,
- accesibilidad,
- lectura fácil,
- DQF-MQM,
- estudio comparativo
Appendices
Bibliographie
- BFEH (2019) : Langue facile à lire. Fiche d’information à l’intention de l’administration fédérale. Confédération suisse : Bureau fédéral de l’égalité pour les personnes handicapées (BFEH).
- Bredel, Ursula et Maaß, Christiane (2017) : Wortverstehen durch Wortgliederung – Bindestrich und Mediopunkt in Leichter Sprache. In : Bettina M. Bock, Ulla Fix et Daisy Lange, dir. “Leichte Sprache” im Spiegel theoretischer und angewandter Forschung. Kommunikation – Partizipation – Inklusion. Berlin : Frank & Timme, 211-228.
- Castilho, Sheila, Moorkens, Joss, Gaspari, Federico et al. (2017) : Is Neural Machine Translation the New State of the Art ? The Prague Bulletin of Mathematical Linguistics. 108:109-120.
- Chehab, Nael, Holken Hadmut et Malgrange, Mathilde (2019) : Étude Recueil des besoins FALC. Issy-Les-Moulineaux : Holken Consultants & Partners. Consulté le 2 mai 2022, http://51.91.138.70/simples/docs/SIMPLES_Etude_Recueil_desBesoins_FALC_HC.pdf.
- Cohen, Jacob (1960) : A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. 20(1):37-46.
- Felici, Annarita et Griebel, Cornelia (2019) : The Challenge of Multilingual ‘Plain Language’ in Translation-Mediated Swiss Administrative Communication : A Preliminary Comparative Analysis of Insurance Leaflets. Translation Spaces. 8(1):167-191.
- Feng, Lijun, Elhadad, Noémie et Huenerfauth, Matt (2009) : Cognitively Motivated Features for Readability Assessment. In : Alex Lascarides, Claire Gardent, Joakim Nivre, dir. Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics on - EACL ’09, 229-237. Athènes : Association for Computational Linguistics. Consulté le 2 mai 2022, https://doi.org/10.3115/1609067.1609092.
- Forcada, Mikel L. (2017) : Making sense of neural machine translation. Translation Spaces. 6(2):291-309.
- Forcada, Mikel L., Scarton, Carolina, Specia, Lucia, et al. (2018) : Exploring gap filling as a cheaper alternative to reading comprehension questionnaires when evaluating machine translation for gisting. In : Ondřej Bojar, Rajen Chatterjee, Christian Federmann et al., dir. Proceedings of the Third Conference on Machine Translation : Research Papers, 192–203. Bruxelles : Association for Computational Linguistics. Consulté le 2 mai 2022, https://doi.org/10.18653/v1/W18-6320.
- FRANET (2016) : Monthly data collection on the current migration situation in the EU - August 2016 monthly report. Bruxelles : European Union Agency for Fundamental Rights (FRA). Consulté le 2 mai 2022, https://fra.europa.eu/sites/default/files/fra_uploads/fra-august-2016-monthly-migration-disability-focus_en.pdf.
- Grabar, Natalia (2019) : Adaptation de documents techniques pour les locuteurs non spécialisés. Thèse pour l’obtention d’une habilitation à diriger la recherche de l’Université de Paris-Sud. Paris : Université Paris-Sud.
- Grabar, Natalia et Cardon, Rémi (2018) : CLEAR – Simple Corpus for Medical French. In : Arne Jönsson, Evelina Rennes, Horacio Saggion et al., dir. Proceedings of the 1st Workshop on Automatic Text Adaptation (ATA), 3-9. Tilbourg : Association for Computational Linguistics. Consulté le 2 mai 2022, https://doi.org/10.18653/v1/W18-7002.
- Hansen-Schirra, Silvia et Maaß, Christiane, dir. (2020) : Easy Language Research : Text and User Perspectives. Vol. 2. Easy - Plain - Accessible. Berlin, Heidelberg : Frank & Timme.
- Hansen-Schirra, Silvia, Nitzke, Jean, Gutermuth, Silke, et al. (2020) : Technologies for the Translation of Specialised Texts into Easy Language. In : Silvia Hansen-Schirra et Christiane Maaß, dir. Easy Language Research : Text and User Perspectives. Berlin : Frank & Timme, 99-127.
- InclusionEurope (2009) : Information for all. European standards for making information easy to read and understand. Bruxelles : Commission européenne. Consulté le 2 mai 2022, https://www.inclusion-europe.eu/easy-to-read-standards-guidelines/.
- Kaplan, Abigail (2021) : Suitability of Neural Machine Translation for Producing Linguistically Accessible Text : Exploring the Effects of Pre-Editing on Easy-to-Read Administrative Documents. Mémoire de maîtrise non publié. Genève : Université de Genève (UNIGE). Consulté le 2 mai 2022, https://archive-ouverte.unige.ch/unige:151207.
- Kaplan, Abigail, RodríguezVázquez, Silvia et Bouillon, Pierrette (2019) : Measuring the Impact of Neural Machine Translation on Easy-to-Read Texts : An Exploratory Study. Présenté à : Conference on Easy-to-Read Language Research (Klaara 2019), Helsinki. Consulté le 2 mai 2022, https://archive-ouverte.unige.ch/unige:123648.
- Klubička, Filip, Toral, Antonio et M. Sánchez-Cartagena, Víctor (2017) : Fine-Grained Human Evaluation of Neural Versus Phrase-Based Machine Translation. The Prague Bulletin of Mathematical Linguistics (PBML). 108:121-132.
- Koehn, Philipp (2009/2017) : Draft of Chapter 13 : Neural Machine Translation. Statistical Machine Translation, 2e éd. Cambridge : Cambridge University Press. Consulté le 2 mai 2022, https://arxiv.org/pdf/1709.07809.pdf.
- Kuhn, Tobias (2014) : A Survey and Classification of Controlled Natural Languages. Computational Linguistics. 40(1):121–170.
- Lamotte, Helen et Therwath, Alexandre (2016). Orsay facile : Inclure les personnes déficientes intellectuelles dans l’élaboration de documents adaptés. I : Emma Nardi et Cinzia Angelini, dir. Best Practice 5 : A tool to improve museum education internationally. Rome : Edizioni Nuova Cultura, 61-70. Consulté le 2 mai 2022, https://ceca.mini.icom.museum/fr/publications/best-practice/.
- Lommel, Arle, Popovic, Maja et Burchardt, Aljoscha (2014) : Assessing Inter-Annotator Agreement for Translation Error Annotation. In : Proceedings of MTE : Workshop on Automatic and Manual Metrics for Operational Translation Evaluation - LREC. Reykjavik, Islande. Consulté le 2 mai 2002, https://www.dfki.de/fileadmin/user_upload/import/7445_LREC-Lommel-Burchardt-Popovic.pdf.
- Luce, Amy (2018) : Asylum Seekers and Refugees with Intellectual Disabilities in Europe. Oakville : Samuel Centre for Social Connectedness. Consulté le 2 mai 2022, https://www.socialconnectedness.org/wp-content/uploads/2019/10/Asylum-Seekers-and-Refugees-with-Intellectual-Disabilities-in-Europe-1-1.pdf.
- Maaß, Christiane (2020) : Easy Language – Plain Language – Easy Language Plus : Balancing comprehensibility and acceptability. Vol. 3. Easy - Plain - Accessible. Berlin : Frank & Timme. Consulté le 2 mai 2022, https://library.oapen.org/handle/20.500.12657/42089.
- Macketanz, Vivien, Ai, Renlong, Burchardt, Aljoscha et al. (2018) : TQ-AutoTest – A Semi-Automatic Test Suite for (Machine) Translation Quality. In : Nicoletta Calzolari, Khalid Choukri, Christopher Cieri et al., dir. Proceedings of the Eleventh International Conference on Language Resources and Evaluation. Miyazaki : European Language Resources Association (ELRA), 886-892.
- Marzouk, Shaimaa et Hansen-Schirra, Silvia (2019) : Evaluation of the Impact of Controlled Language on Neural Machine Translation Compared to Other MT Architectures. Machine Translation. 33(1-2):179-203.
- Matausch, Kerstin et Nietzio, Annika (2012) : Easy-to-read and plain language : defining criteria and refining rules. In : Klaus Miesenberger, Andrea Petz, Kerstin Matausch, et al., dir. Proceedings of the W3C Easy-to-Read on the Web Symposium, Paper 11. Consulté le 2 mai 2022, http://www.w3.org/WAI/RD/2012/easy-to-read/paper11/.
- Neubig, Graham, Morishita, Makoto et Nakamura, Satoshi (2015) : Neural Reranking Improves Subjective Quality of Machine Translation. In : Toshiaki Nakazawa, Hideya Mino, Isao Gotoet al., dir. Proceedings of the 2nd Workshop on Asian Translation (WAT). Kyoto : Workshop on Asian Translation, 35-41. Consulté le 2 mai 2022, https://aclweb.org/anthology/papers/W/W15/W15-5003/.
- Nietzio, Annika, Scheer, Birgit et Bühler, Christian (2012) : How Long Is a Short Sentence ? – A Linguistic Approach to Definition and Validation of Rules for Easy-to-Read Material. In : Klaus Miesenberger, Arthur Karshmer, Petr Penazet al., dir. Computers Helping People with Special Needs. Lecture Notes in Computer Science. Springer Berlin Heidelberg, 7383:369-376. Consulté le 2 mai 2022, http://dx.doi.org/10.1007/978-3-642-31534-3_55.
- Rossetti, Alessandra (2019) : Simplifying, Reading, and Machine Translating Health Content : An Empirical Investigation of Usability. Thèse de doctorat non publiée. Dublin : Dublin City University (DCU).
- Štajner, Sanja, Mitkov, Ruslan et CorpasPastor, Gloria (2015) : Simple or Not Simple ? A Readability Question. In : Núria Gala, Reinhard Rapp et Gemma Bel-Enguix, dir. Language Production, Cognition, and the Lexicon. Cham : Springer International Publishing, 48:379-398. Consulté le 2 mai 2022, https://doi.org/10.1007/978-3-319-08043-7_22.
- Sutherland, Rebekah Joy et Isherwood, Tom (2016) : The Evidence for Easy-Read for People With Intellectual Disabilities : A Systematic Literature Review. Journal of Policy and Practice in Intellectual Disabilities. 13(4):297-310. Consulté le 2 mai 2022, https://doi.org/10.1111/jppi.12201.
- Yaneva, Victoria (2015) : Easy-read Documents as a Gold Standard for Evaluation of Text Simplification Output. In : Irina Temnikova, Ivelina Nikolova et Alexander Popov, dir. Proceedings of the Student Research Workshop associated with RANLP 2015. Hissar : INCOMA Ltd, 30-36.
- Yaneva, Victoria et Evans, Richard (2015) : Six Good Predictors of Autistic Text Comprehension. In : Ruslan Mitkov, Galia Angelova et Kalina Bontcheva, dir. Proceedings of the International Conference Recent Advances in Natural Language Processing. Hissar : INCOMA Ltd, 697-706. Consulté le 2 mai 2022, https://www.aclweb.org/anthology/R15-1089.