Transformers documentation
ExecuTorch
Commencer
Classes de base
Modèles
Préprocesseurs
Inférence
API Pipeline
Générer l'API
Optimisation
Discuter avec des modèles
Mise en production
Entraînement
Commencer
Personnalisation
Performance
Entraînement distribué
Matériel
Quantification
Intégrations à l'écosystème
Moteurs d'inférence
Déploiement local
Pré-entraînement
Ajustement fin
Ressources
API
ExecuTorch
ExecuTorch est un runtime léger pour l’inférence de modèles sur des périphériques edge. Il exporte un modèle PyTorch dans un format portable, compilé à l’avance. Un petit runtime C++ planifie la mémoire et délègue les opérations à des backends spécifiques au matériel. Le comportement d’exécution et de mémoire est connu avant que le modèle ne s’exécute sur le périphérique, ce qui réduit les surcoûts d’inférence.
Exporter un modèle Transformers avec la bibliothèque optimum-executorch.
CLI
Python
optimum-cli export executorch \
--model "HuggingFaceTB/SmolLM2-135M-Instruct" \
--task "text-generation" \
--recipe "xnnpack" \
--output_dir="./smollm2_exported"from transformers import AutoTokenizer
from optimum.executorch import ExecuTorchModelForCausalLM
model = ExecuTorchModelForCausalLM.from_pretrained(
"HuggingFaceTB/SmolLM2-135M-Instruct",
recipe="xnnpack",
)
model.save_pretrained("./smollm2_exported")
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-135M-Instruct")Intégration de Transformers
Le processus d’exportation utilise plusieurs composants de Transformers.
- from_pretrained() charge les poids du modèle au format safetensors.
- Optimum applique des optimisations de graphe et exécute torch.export pour créer un fichier
model.pteciblant votre backend matériel. - AutoTokenizer ou AutoProcessor charge les fichiers du tokenizer ou du processeur et s’exécute pendant l’inférence.
- À l'exécution, une classe exécuteur C++ exécute le fichier
.ptesur le runtime ExecuTorch.
#include <executorch/extension/llm/runner/text_llm_runner.h>
using namespace executorch::extension::llm;
int main() {
// Load tokenizer and create runner
auto tokenizer = load_tokenizer("path/to/tokenizer.json", nullptr, std::nullopt, 0, 0);
auto runner = create_text_llm_runner("path/to/model.pte", std::move(tokenizer));
// Load the model
runner->load();
// Configure generation
GenerationConfig config;
config.max_new_tokens = 100;
config.temperature = 0.8f;
// Generate text with streaming output
runner->generate("The capital of France is", config,
[](const std::string& token) { std::cout << token << std::flush; },
nullptr);
return 0;
}Ressources
- Documentation ExecuTorch
- documentation de torch.export
- guide Exporter vers la production