TRANSFORMER МОДЕЛЛАРИ АСОСИДА ЎЗБЕК ТИЛИ ШЕВАЛАРИНИ АДАБИЙ ТИЛГА АВТОМАТИК ЎГИРИШ
Keywords:
ўзбек тили, шева, адабий тил, Transformer, NLP, матнни нормаллаштириш, sequence-to-sequence.Abstract
Ўзбек тили шевалари адабий тилдан фонетик, лексик ва грамматик жиҳатдан фарқ қилади, бу эса матнларни автоматик қайта ишлаш жараёнида қийинчиликлар туғдиради. Ушбу тадқиқотда Transformer моделлари асосида диалектал матнларни адабий ўзбек тилига автоматик ўгириш масаласи кўриб чиқилади. Тадқиқот учун 5000 дан ортиқ диалектал ва адабий жумлалар жуфтлигидан иборат корпус яратилди. Модел sequence-to-sequence усулида ўқитилди ва BLEU ҳамда Accuracy метрикалари орқали баҳоланди. Натижалар Transformer моделлари шева хусусиятларини самарали аниқлаб, уларни адабий тил меъёрларига мувофиқ нормаллаштира олишини кўрсатди.
Downloads
References
16. Vaswani A. et al. Attention Is All You Need. NIPS, 2017.
17. Devlin J. et al. BERT: Pre-training of Deep Bidirectional Transformers. NAACL, 2019.
18. Brown T. et al. Language Models are Few-Shot Learners. NeurIPS, 2020.
19. Raffel C. et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR, 2020.
20. Conneau A. et al. Unsupervised Cross-lingual Representation Learning. ACL, 2020.
21. Jurafsky D., Martin J. Speech and Language Processing. Pearson, 2023.
22. Koehn P. Neural Machine Translation. Cambridge University Press, 2020.
23. Sennrich R. Neural Machine Translation of Rare Words. ACL, 2016.
24. Xue L. et al. mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer. 2021.
25. Wolf T. et al. Transformers: State-of-the-Art NLP. EMNLP, 2020.
26. Abdurakhmonov S. Uzbek NLP Resources and Challenges. 2022.
27. Tursunov B. Uzbek Language Technologies: Current State and Future Directions. 2023.
28. Goodfellow I. Deep Learning. MIT Press, 2016.
29. Goldberg Y. Neural Network Methods for NLP. Morgan & Claypool, 2017.
30. Manning C., Schütze H. Foundations of Statistical NLP. MIT Press, 1999.
