Transformers documentation

LiteRT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LiteRT

LiteRT (sebelumnya TensorFlow Lite) adalah runtime Google untuk inferensi on-device. Format modelnya adalah .tflite dan model bahasa dikirim sebagai satu file .litertlm untuk runtime LiteRT-LM.

Ekspor model Transformers dengan litert-torch. Ini menurunkan grafik torch.export langsung ke LiteRT, dan tidak melalui ONNX atau SavedModel TensorFlow.

pip install litert-torch
CLI (LLM)
Python (semua model)

export_hf memuat model bahasa dari Hub, mengkuantisasi bobot ke int8 secara default, dan menulis model.litertlm.

litert-torch export_hf \
    --model="HuggingFaceTB/SmolLM2-135M-Instruct" \
    --output_dir="./smollm2_litertlm"

Integrasi Transformers

  1. from_pretrained() memuat bobot model dalam format safetensors.
  2. litert-torch menjalankan torch.export dan menurunkan graf ke operator LiteRT. export_hf menambahkan KV cache, tanda tangan prefill dan decode, serta kuantisasi int8.
  3. AutoTokenizer memuat tokenizer. export_hf mengemasnya bersama template chat ke dalam file .litertlm.
  4. Saat runtime, .tflite berjalan di LiteRT dan .litertlm di LiteRT-LM, dari Kotlin, Swift, C++, atau Python (ai-edge-litert dan litert-lm-api). Roda tflite-runtime yang lebih lama berhenti di Python 3.11.

Transformers v4 mendokumentasikan optimum-cli export tflite, yang melakukan konversi melalui TensorFlow. Fitur ini dihapus bersamaan dengan dukungan TensorFlow di v5 (#40760) dan tidak menjadi bagian dari Optimum 2.x.

Sumber daya

Update on GitHub