Candle

Candle adalah framework machine learning yang menyediakan implementasi Rust native untuk model Transformers. Framework ini secara native mendukung safetensors untuk memuat model Transformers secara langsung.

/// load model config
let config: Config = 
    serde_json::from_reader(std::fs::File::open(config_filename)?)?;

/// load safetensors and memory-maps them
let vb = unsafe {
    VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};

/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;

Integrasi Transformers

1. Krate hf-hub memeriksa cache Hugging Face lokal Anda untuk model. Jika tidak ada, krate ini mengunduh bobot model dan konfigurasi dari Hub.
2. VarBuilder memuat file safetensor secara lazy. Ia memetakan nama kunci state-dict ke struktur Rust yang merepresentasikan lapisan model. Ini mencerminkan cara Transformers mengorganisasi bobotnya.
3. Candle mengurai config.json untuk mengekstrak metadata model dan menginstansiasi kelas model Rust yang sesuai dengan bobot dari VarBuilder.

Sumber daya

• Dokumentasi Candle