Transformers documentation
LiteRT
LiteRT
LiteRT (sebelumnya TensorFlow Lite) adalah runtime Google untuk inferensi on-device. Format modelnya adalah .tflite dan model bahasa dikirim sebagai satu file .litertlm untuk runtime LiteRT-LM.
Ekspor model Transformers dengan litert-torch. Ini menurunkan grafik torch.export langsung ke LiteRT, dan tidak melalui ONNX atau SavedModel TensorFlow.
pip install litert-torch
export_hf memuat model bahasa dari Hub, mengkuantisasi bobot ke int8 secara default, dan menulis model.litertlm.
litert-torch export_hf \
--model="HuggingFaceTB/SmolLM2-135M-Instruct" \
--output_dir="./smollm2_litertlm"litert_torch.convert menelusuri model dengan input sampel dan mengekspor file .tflite. Objek yang dikembalikan juga menjalankannya, sehingga ekspor dapat diperiksa di tempatnya.
import litert_torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
model_id = "google-bert/bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id).eval()
inputs = tokenizer("Paris is the [MASK] of France.", return_tensors="pt", padding="max_length", max_length=128)
litert_model = litert_torch.convert(model, sample_kwargs=dict(inputs))
litert_model.export("bert.tflite")
outputs = litert_model(**{name: tensor.numpy() for name, tensor in inputs.items()})
mask_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
print(tokenizer.decode(outputs["logits"][0, mask_index].argmax())) # capitalIntegrasi Transformers
- from_pretrained() memuat bobot model dalam format safetensors.
- litert-torch menjalankan torch.export dan menurunkan graf ke operator LiteRT.
export_hfmenambahkan KV cache, tanda tangan prefill dan decode, serta kuantisasi int8. - AutoTokenizer memuat tokenizer.
export_hfmengemasnya bersama template chat ke dalam file.litertlm. - Saat runtime,
.tfliteberjalan di LiteRT dan.litertlmdi LiteRT-LM, dari Kotlin, Swift, C++, atau Python (ai-edge-litertdanlitert-lm-api). Rodatflite-runtimeyang lebih lama berhenti di Python 3.11.
Transformers v4 mendokumentasikan
optimum-cli export tflite, yang melakukan konversi melalui TensorFlow. Fitur ini dihapus bersamaan dengan dukungan TensorFlow di v5 (#40760) dan tidak menjadi bagian dari Optimum 2.x.
Sumber daya
- Dokumentasi LiteRT dan LiteRT-LM
- Panduan konversi model PyTorch dan model GenAI