Методы создания систем машинного перевода для малоресурсных языков

Статья посвящена методам создания систем машинного перевода для малоресурсных языков, в частности, тюркских языков. Предложен подход, сочетающий как методы аугментации данных, так и методы переноса знаний. Для аугментации данных применены метод морфоперевода параллельных корпусов близкородственных языков и перефразирование на основе лингвистического графа знаний «Turklang», позволяющие генерировать синтетические параллельные данные через промежуточное онтологическое представление. В качестве архитектуры модели выбрана BERT, используемая как в роли кодировщика, так и декодировщика. При подготовке обучающих данных были собраны параллельные корпусы суммарным объемом около 30 млн пар предложений. Экспериментальная часть включает обучение и оценку как однонаправленных, так и многоязычной моделей для шести наиболее малоресурсных тюркско-русских пар: крымско-татарской, хакасской, тувинской, алтайской, кумыкской и якутской. Обучение проведено на малой части собранных данных для обеспечения баланса между объемами данных для разных языков. Результаты показали, что многоязычная модель, обученная с применением аугментации и переноса знаний, демонстрирует значительное улучшение автоматических метрик BLEU, SacreBLEU и ChrF по сравнению с однонаправленными моделями.

1. Mirzakhalov J., Babu A., Kunafin A., Wahab A., Moydinboyev B., Ivanova S., Uzokova M., Pulatova S., Ataman D., Kreutzer J., Tyers F., Firat O., Licato J., Chellappan S. Evaluating multiway multilingual NMT in the Turkic languages // Proc. 6th Conf. on Machine Translation. Assoc. Comput. Linguist., 2021. P. 518–530. URL: https://aclanthology.org/2021.wmt-1.60.

2. Suleymanov D., Kubedinova L., Gatiatullin A., Prokopyev N. Usage of morphotranslation in data augmentation of the training dataset for “TurkLang-7” project on MT systems creation // Proc. IEEE 2022 7th Int. Conf. on Computer Science and Engineering (UBMK). Diyarbakir: IEEE, 2022. P. 413–417. https://doi.org/10.1109/UBMK55850.2022.9919552.

3. Гатиатуллин А.Р., Прокопьев Н.А., Сулейманов Д.Ш. Модель лингвистических графов знаний тюркских языков // Онтология проектирования. 2024. Т. 14, № 3. С. 366–378. https://doi.org/10.18287/2223-9537-2024-14-3-366-378.

4. Edunov S., Ott M., Auli M., Grangier D. Understanding back-translation at scale // Proc. 2018 Conf. on Empirical Methods in Natural Language Processing. Brussels: Assoc. Comput. Linguist., 2018. P. 489–500. https://doi.org/10.18653/v1/D18-1045.

5. Effendi J., Sakti S., Sudoh K., Nakamura S. Multi-paraphrase augmentation to leverage neural caption translation // Proc. 15th Int. Conf. on Spoken Language Translation. Brussels: Int. Conf. Spoken Lan. Transl., 2018. P. 181–188. https://aclanthology.org/2018.iwslt-1.27.

6. Aji A.F., Bogoychev N., Heafield K., Sennrich R. In neural machine translation, what does transfer learning transfer // Proc. 58th Annu. Meet. of the Association for Computational Linguistics. Assoc. Comput. Linguist., 2020. P. 7701–7710. https://doi.org/10.18653/v1/2020.acl-main.688.

7. NLLB Team. No language left behind: Scaling human-centered machine translation. arXiv:2207.04672, 2022. https://doi.org/10.48550/arXiv.2207.04672.

8. Libovick´y J., Helcl J. Lexically grounded subword segmentation // Proc. 2024 Conf. on Empirical Methods in Natural Language Processing. Miami, FL: Assoc. Comput. Linguist., 2024. P. 7403–7420. https://doi.org/10.18653/v1/2024.emnlp-main.421.

9. Hu J.F. Tokenization strategies for low-resource agglutinative languages in Word2Vec: Case study on Turkish and Finnish // Proc. 2025 Int. Conf. on Artificial Intelligence, Computer, Data Sciences and Applications (ACDSA). Antalya: IEEE, 2025. P. 1–6. https://doi.org/10.1109/ACDSA65407.2025.11165911.

10. Hogan A., Blomqvist E., Cochez M., D’amato C., De Melo G., Gutierrez C., Kirrane S., Labra Gayo J.E., Navigli R., Neumaier S., Ngonga Ngomo A.-C., Polleres A., Rashid S.M., Rula A., Schmelzeisen L., Sequeda J., Staab S., Zimmermann A. Knowledge graphs // ACM Comput. Surv. (CSUR). 2021. V. 54, No 4. Art. 71. https://doi.org/10.1145/3447772.

11. Zhao Y., Xiang L., Zhu J., Zhang J., Zhou Y., Zong C. Knowledge graph enhanced neural machine translation via multi-task learning on sub-entity granularity // Proc. 28th Int. Conf. on Computational Linguistics. Barcelona: Int. Comm. Comput. Linguist., 2020. P. 4495–4505. https://doi.org/10.18653/v1/2020.coling-main.397.

12. Moussallem D., Ngonga Ngomo A.-C., Buitelaar P., Arcan M. Utilizing knowledge graphs for neural machine translation augmentation // K-CAP’19: Proc. 10th Int. Conf. on Knowledge Capture. New York, NY: Assoc. Comput. Mach., 2019. P. 139–146. https://doi.org/10.1145/3360901.3364423.

13. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding // Proc. 2019 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. V. 1: Long and short papers. Minneapolis, MN: Assoc. Comput. Linguist., 2019. P. 4171–4186. https://doi.org/10.18653/v1/N19-1423.

14. J¨org T. News from OPUS – A collection of multilingual parallel corpora with tools and interfaces // Recent Advances in Natural Language Processing V: Selected papers from RANLP 2007. Nicolov N., Angelova G., Mitkov R. (Eds.). Ser.: Current Issues in Linguistic Theory. V. 309. John Benjamins Publ. Co., 2009. P. 237–248. https://doi.org/10.1075/cilt.309.19tie.

15. Mirzakhalov J., Babu A., Ataman D., Kariev S., Tyers F., Abduraufov O., Hajili M., Ivanova S., Khaytbaev A., Laverghetta A., Jr., Moydinboyev B., Onal E., Pulatova S., Wahab A., Firat O., Chellappan S. A large-scale study of machine translation in Turkic languages // Proc. 2021 Conf. on Empirical Methods in Natural Language Processing. Punta Cana: Assoc. Comput. Linguist., 2021. P. 5876–5890. https://doi.org/10.18653/v1/2021.emnlp-main.475.

16. Lee S., Lee J., Moon H., Park C., Seo J., Eo S., Koo S., Lim H. A survey on evaluation metrics for machine translation // Mathematics. 2023. V. 11, No 4. Art. 1006. https://doi.org/10.3390/math11041006.