Transformers documentation
MLX
MLX
MLX est un framework de tableaux pour l’apprentissage automatique sur puce Apple qui fonctionne également avec CUDA. Sur puce Apple, les tableaux restent en mémoire partagée afin d’éviter les copies de données entre le CPU et le GPU. Le calcul paresseux permet la manipulation de graphes et les optimisations. La prise en charge native de safetensors signifie que les modèles de langage Transformers s’exécutent directement sur MLX.
Installez la bibliothèque mlx-lm.
pip install mlx-lm transformers
Chargez n'importe quel modèle de langage Transformers depuis le Hub, à condition que l'architecture du modèle soit prise en charge. Aucune conversion des poids n'est requise.
from mlx_lm import load, generate
model, tokenizer = load("openai/gpt-oss-20b")
output = generate(
model,
tokenizer,
prompt="The capital of France is",
max_tokens=100,
)
print(output)Intégration de Transformers
- mlx_lm.load charge les poids safetensor et renvoie un modèle et un tokenizer.
- MLX charge les tableaux de poids indexés par les noms de tenseurs et les mappe dans l’arborescence des paramètres d’un module nn.Module MLX. Cela correspond à l’organisation des points de contrôle Transformers.
L'intégration MLX Transformers est bidirectionnelle. Transformers peut également charger et exécuter des poids MLX depuis le Hub.
Ressources
- Documentation MLX
- mlx-lm dépôt contenant les implémentations de LLM MLX
- Bibliothèque communautaire mlx-vlm avec des implémentations de VLM