Candle

Candle là một framework machine learning cung cấp các triển khai Rust native cho các mô hình Transformers. Nó hỗ trợ native safetensors để tải trực tiếp các mô hình Transformers.

/// load model config
let config: Config = 
    serde_json::from_reader(std::fs::File::open(config_filename)?)?;

/// load safetensors and memory-maps them
let vb = unsafe {
    VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};

/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;

Tích hợp Transformers

1. Crate hf-hub kiểm tra bộ nhớ đệm Hugging Face cục bộ của bạn để tìm mô hình. Nếu không có, nó sẽ tải trọng số và cấu hình mô hình từ Hub.
2. VarBuilder nạp các tệp safetensor một cách lười. Nó ánh xạ tên khóa của state-dict sang các struct Rust đại diện cho các lớp của mô hình. Điều này phản ánh cách Transformers tổ chức trọng số của nó.
3. Candle phân tích config.json để trích xuất siêu dữ liệu mô hình và khởi tạo lớp mô hình Rust tương ứng với trọng số từ VarBuilder.

Tài nguyên

• Tài liệu Candle