# XLM-V

## Tổng quan

XLM-V là mô hình ngôn ngữ đa ngôn ngữ với từ điển một triệu token được huấn luyện trên 2,5TB dữ liệu từ Common Crawl (giống như XLM-R). Nó được giới thiệu trong bài báo [XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472) của Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer và Madian Khabsa.

Từ phần tóm tắt của bài báo XLM-V:

*Các mô hình ngôn ngữ đa ngôn ngữ lớn thường dựa vào một bảng từ vựng duy nhất được dùng chung cho hơn 100 ngôn ngữ. Khi các mô hình này tăng về số lượng tham số và độ sâu, kích thước bảng từ vựng hầu như không thay đổi. Nút thắt về từ vựng này làm hạn chế khả năng biểu diễn của các mô hình đa ngôn ngữ như XLM-R. Trong bài báo này, chúng tôi giới thiệu một cách tiếp cận mới để mở rộng sang các bảng từ vựng đa ngôn ngữ rất lớn bằng cách giảm mức độ chia sẻ token giữa các ngôn ngữ có ít sự trùng lặp về từ vựng và phân bổ dung lượng từ vựng để đạt được độ bao phủ đủ cho từng ngôn ngữ riêng lẻ. Việc phân tách token sử dụng bảng từ vựng của chúng tôi thường mang ý nghĩa ngữ nghĩa rõ ràng hơn và ngắn hơn so với XLM-R. Tận dụng bảng từ vựng được cải thiện này, chúng tôi huấn luyện XLM-V, một mô hình ngôn ngữ đa ngôn ngữ với bảng từ vựng một triệu token. XLM-V vượt trội hơn XLM-R trên mọi tác vụ chúng tôi đã kiểm tra, trải dài từ suy luận ngôn ngữ tự nhiên (XNLI), trả lời câu hỏi (MLQA, XQuAD, TyDiQA) và nhận thực thể có tên (WikiAnn) đến các tác vụ ít tài nguyên (Americas NLI, MasakhaNER).*

Mô hình này được đóng góp bởi [stefan-it](https://huggingface.co/stefan-it), bao gồm các thí nghiệm chi tiết với XLM-V trên các tác vụ downstream. Kho thí nghiệm có thể được tìm thấy [tại đây](https://github.com/stefan-it/xlm-v-experiments).

## Mẹo sử dụng

- XLM-V tương thích với kiến trúc mô hình XLM-RoBERTa, chỉ cần chuyển đổi trọng số mô hình từ thư viện [`fairseq`](https://github.com/facebookresearch/fairseq).
- Cài đặt `XLMTokenizer` được sử dụng để nạp từ vựng và thực hiện phân tách token.

Một mô hình XLM-V (kích thước cơ bản) có sẵn dưới định danh [`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base).

Kiến trúc XLM-V giống với XLM-RoBERTa, hãy tham khảo [tài liệu XLM-RoBERTa](xlm-roberta) để xem tham chiếu API và các ví dụ.

