# Candle

[Candle](https://github.com/huggingface/candle) là một framework machine learning cung cấp các triển khai Rust native cho các mô hình Transformers. Nó hỗ trợ native [safetensors](https://huggingface.co/docs/safetensors/en/index) để tải trực tiếp các mô hình Transformers.

```rust
/// load model config
let config: Config = 
    serde_json::from_reader(std::fs::File::open(config_filename)?)?;

/// load safetensors and memory-maps them
let vb = unsafe {
    VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};

/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;
```

## Tích hợp Transformers

1. Crate [hf-hub](https://github.com/huggingface/hf-hub) kiểm tra [bộ nhớ đệm Hugging Face](../installation#cache-directory) cục bộ của bạn để tìm mô hình. Nếu không có, nó sẽ tải trọng số và cấu hình mô hình từ Hub.
2. [VarBuilder](https://github.com/huggingface/candle/blob/f526033db7ea880c7189628a2dc00e3e2008a9e7/candle-nn/src/var_builder.rs#L38) nạp các tệp safetensor một cách lười. Nó ánh xạ tên khóa của state-dict sang các struct Rust đại diện cho các lớp của mô hình. Điều này phản ánh cách Transformers tổ chức trọng số của nó.
3. Candle phân tích `config.json` để trích xuất siêu dữ liệu mô hình và khởi tạo lớp mô hình Rust tương ứng với trọng số từ `VarBuilder`.

## Tài nguyên

- Tài liệu [Candle](https://github.com/huggingface/candle)

