# XLS-R

## Aperçu

Le modèle XLS-R a été proposé dans [XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale](https://huggingface.co/papers/2111.09296) par Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

L'abstract de l'article est le suivant :

*Cet article présente XLS-R, un modèle à grande échelle pour l’apprentissage de représentations vocales interlinguistiques basé sur wav2vec 2.0. Nous entraînons des modèles comportant jusqu’à 2 milliards de paramètres sur près d’un demi-million d’heures d’audio vocal public dans 128 langues, soit un ordre de grandeur de plus de données publiques que le travail antérieur le plus important connu à ce jour. Notre évaluation couvre une large gamme de tâches, de domaines, de régimes de données et de langues, tant à ressources élevées qu’à ressources limitées. Sur le benchmark de traduction vocale CoVoST-2, nous améliorons l’état de l’art précédent d’une moyenne de 7,4 BLEU sur 21 directions de traduction vers l’anglais. Pour la reconnaissance vocale, XLS-R surpasse le meilleur travail antérieur connu sur BABEL, MLS, CommonVoice ainsi que VoxPopuli, réduisant les taux d’erreur de 14 à 34 % en moyenne en termes relatifs. XLS-R établit également un nouvel état de l’art sur l’identification de la langue VoxLingua107. De plus, nous montrons qu’avec une taille de modèle suffisante, le pré-entraînement interlinguistique peut surpasser le pré-entraînement uniquement en anglais lors de la traduction de la parole anglaise vers d’autres langues, un contexte qui favorise le pré-entraînement monolingue. Nous espérons que XLS-R contribuera à améliorer les tâches de traitement de la parole pour de nombreuses autres langues du monde.*

Les points de contrôle pertinents peuvent être trouvés sous https://huggingface.co/models?other=xls_r.

Le code original peut être trouvé [ici](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec).

## Conseils d'utilisation

- XLS-R est un modèle de parole qui accepte un tableau de nombres à virgule flottante correspondant à la forme d’onde brute du signal de parole.
- Le modèle XLS-R a été entraîné à l'aide de la classification temporelle connexionniste (CTC), il est donc nécessaire de décoder sa sortie à l'aide de [Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/fr/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).

L'architecture de XLS-R est basée sur le modèle Wav2Vec2, consultez la [page de documentation de Wav2Vec2](wav2vec2) pour la référence de l'API.

