Transformers documentation

ExecuTorch

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ExecuTorch

ExecuTorch est un runtime léger pour l’inférence de modèles sur des périphériques edge. Il exporte un modèle PyTorch dans un format portable, compilé à l’avance. Un petit runtime C++ planifie la mémoire et délègue les opérations à des backends spécifiques au matériel. Le comportement d’exécution et de mémoire est connu avant que le modèle ne s’exécute sur le périphérique, ce qui réduit les surcoûts d’inférence.

Exporter un modèle Transformers avec la bibliothèque optimum-executorch.

CLI
Python
optimum-cli export executorch \
    --model "HuggingFaceTB/SmolLM2-135M-Instruct" \
    --task "text-generation" \
    --recipe "xnnpack" \
    --output_dir="./smollm2_exported"

Intégration de Transformers

Le processus d’exportation utilise plusieurs composants de Transformers.

  1. from_pretrained() charge les poids du modèle au format safetensors.
  2. Optimum applique des optimisations de graphe et exécute torch.export pour créer un fichier model.pte ciblant votre backend matériel.
  3. AutoTokenizer ou AutoProcessor charge les fichiers du tokenizer ou du processeur et s’exécute pendant l’inférence.
  4. À l'exécution, une classe exécuteur C++ exécute le fichier .pte sur le runtime ExecuTorch.
#include <executorch/extension/llm/runner/text_llm_runner.h>

using namespace executorch::extension::llm;

int main() {
  // Load tokenizer and create runner
  auto tokenizer = load_tokenizer("path/to/tokenizer.json", nullptr, std::nullopt, 0, 0);
  auto runner = create_text_llm_runner("path/to/model.pte", std::move(tokenizer));

  // Load the model
  runner->load();

  // Configure generation
  GenerationConfig config;
  config.max_new_tokens = 100;
  config.temperature = 0.8f;

  // Generate text with streaming output
  runner->generate("The capital of France is", config,
    [](const std::string& token) { std::cout << token << std::flush; },
    nullptr);

  return 0;
}

Ressources

Update on GitHub