Transformers documentation
ExecuTorch
Начало работы
Базовые классы
Модели
Предобработчики
Вывод
API конвейера
Generate API
Оптимизация
Чат с моделями
Развёртывание
Обучение
Начало работы
Настройка
Производительность
Распределённое обучение
Аппаратное обеспечение
Квантование
Интеграции с экосистемой
Ресурсы
API
ExecuTorch
ExecuTorch — это лёгкий рантайм для вывода моделей на устройствах edge. Он экспортирует модель PyTorch в переносимый формат ahead-of-time. Небольшой C++-рантайм планирует память и направляет операции в аппаратно-специфичные бэкенды. Поведение выполнения и памяти известно до запуска модели на устройстве, поэтому накладные расходы на вывод минимальны.
Экспортируйте модель Transformers с помощью библиотеки optimum-executorch.
CLI
Python
optimum-cli export executorch \
--model "HuggingFaceTB/SmolLM2-135M-Instruct" \
--task "text-generation" \
--recipe "xnnpack" \
--output_dir="./smollm2_exported"from transformers import AutoTokenizer
from optimum.executorch import ExecuTorchModelForCausalLM
model = ExecuTorchModelForCausalLM.from_pretrained(
"HuggingFaceTB/SmolLM2-135M-Instruct",
recipe="xnnpack",
)
model.save_pretrained("./smollm2_exported")
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-135M-Instruct")Интеграция с Transformers
Процесс экспорта использует несколько компонентов Transformers.
- from_pretrained() загружает веса модели в формате safetensors.
- Optimum применяет оптимизации графа и запускает torch.export для создания файла
model.pte, нацеленного на ваш аппаратный бэкенд. - AutoTokenizer или AutoProcessor загружает файлы токенизатора или процессора и выполняется во время инференса.
- Во время выполнения класс-раннер на C++ выполняет файл
.pteв рантайме ExecuTorch.
#include <executorch/extension/llm/runner/text_llm_runner.h>
using namespace executorch::extension::llm;
int main() {
// Load tokenizer and create runner
auto tokenizer = load_tokenizer("path/to/tokenizer.json", nullptr, std::nullopt, 0, 0);
auto runner = create_text_llm_runner("path/to/model.pte", std::move(tokenizer));
// Load the model
runner->load();
// Configure generation
GenerationConfig config;
config.max_new_tokens = 100;
config.temperature = 0.8f;
// Generate text with streaming output
runner->generate("The capital of France is", config,
[](const std::string& token) { std::cout << token << std::flush; },
nullptr);
return 0;
}Ресурсы
- Документация ExecuTorch
- документация torch.export
- Руководство Экспорт в продакшен