Candle

Candle est un framework d’apprentissage automatique offrant des implémentations natives en Rust des modèles Transformers. Il prend nativement en charge safetensors pour charger directement les modèles Transformers.

/// load model config
let config: Config = 
    serde_json::from_reader(std::fs::File::open(config_filename)?)?;

/// load safetensors and memory-maps them
let vb = unsafe {
    VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};

/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;

Intégration de Transformers

1. Le crate hf-hub vérifie le cache local Hugging Face pour un modèle. S’il n’y est pas, il télécharge les poids et les configurations du modèle depuis le Hub.
2. VarBuilder charge les fichiers safetensor de manière paresseuse. Il associe les noms de clés du state-dict à des structures Rust représentant les couches du modèle. Cela reflète la manière dont Transformers organise ses poids.
3. Candle analyse config.json pour extraire les métadonnées du modèle et instancie la classe de modèle Rust correspondante avec les poids issus de VarBuilder.

Ressources

• Documentation de Candle