Transformers documentation
FalconMamba
Ce modèle a été publié dans HF papers le 2024-10-07 et contribué à Hugging Face Transformers le 2024-08-12.
FalconMamba
FalconMamba est un grand modèle de langage de 7B, disponible en variantes pré-entraînées et ajustées par instructions, basé sur Mamba. Ce modèle implémente une conception purement Mamba qui se concentre sur l’efficacité computationnelle tout en maintenant de solides performances. FalconMamba est nettement plus rapide à l’inférence et nécessite nettement moins de mémoire pour la génération de séquences longues. Les modèles sont pré-entraînés sur un jeu de données diversifié de 5,8T jetons incluant RefinedWeb, du contenu technique, du code et des données mathématiques.
Vous pouvez trouver les points de contrôle officiels de FalconMamba dans la collection FalconMamba 7B.
Cliquez sur les modèles FalconMamba dans la barre latérale droite pour plus d’exemples sur la façon d’appliquer FalconMamba à différentes tâches de langage.
Les exemples ci-dessous montrent comment générer du texte avec Pipeline, AutoModel et depuis la ligne de commande.
from transformers import pipeline
pipeline = pipeline(
"text-generation",
model="tiiuae/falcon-mamba-7b-instruct",
device=0
)
pipeline(
"Explain the difference between transformers and SSMs",
max_length=100,
do_sample=True,
temperature=0.7
)from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b-instruct")
model = AutoModelForCausalLM.from_pretrained(
"tiiuae/falcon-mamba-7b-instruct",
device_map="auto"
)
input_ids = tokenizer("Explain the difference between transformers and SSMs", return_tensors="pt").to(model.device)
output = model.generate(**input_ids, max_new_tokens=100, cache_implementation="static")
print(tokenizer.decode(output[0], skip_special_tokens=True))transformers chat tiiuae/falcon-mamba-7b-instruct --dtype auto --device 0
La quantification réduit la charge mémoire des grands modèles en représentant les poids avec une précision inférieure. Reportez-vous à l'aperçu de la Quantization pour plus d'informations sur les backends de quantification disponibles.
L'exemple ci-dessous utilise bitsandbytes pour quantiser les poids sur 4 bits.
from transformers import AutoTokenizer, BitsAndBytesConfig, FalconMambaForCausalLM
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
)
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = FalconMambaForCausalLM.from_pretrained(
"tiiuae/falcon-mamba-7b",
device_map="auto",
quantization_config=quantization_config,
)
inputs = tokenizer("Explain the concept of state space models in simple terms", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Notes
- Utilisez le padding à gauche pour la génération par lots. Voir Padding side.
FalconMambaConfig
classe transformers.FalconMambaConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 50280hidden_size: int = 768state_size: int = 16num_hidden_layers: int = 32layer_norm_epsilon: float = 1e-05pad_token_id: int | None = 0bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 0expand: int = 2conv_kernel: int = 4use_bias: bool = Falseuse_conv_bias: bool = Truehidden_act: str = 'silu'initializer_range: float = 0.1residual_in_fp32: bool = Truetime_step_rank: str | int = 'auto'time_step_scale: float = 1.0time_step_min: float = 0.001time_step_max: float = 0.1time_step_init_scheme: str = 'random'time_step_floor: float = 0.0001rescale_prenorm_residual: bool = Falseuse_cache: bool = Trueuse_mambapy: bool = Falseuse_associative_scan: bool = Truetie_word_embeddings: bool = Truemixer_rms_eps: float = 1e-06 )
Paramètres
- vocab_size (
int, facultatif, par défaut50280) — Taille du vocabulaire du modèle. Définit le nombre de jetons différents qui peuvent être représentés parinput_ids. - hidden_size (
int, facultatif, par défaut768) — Dimension des représentations cachées. - state_size (
int, facultatif, par défaut16) — Taille de l'état SSM (dimension de l'état latent) dans les couches Mamba. - num_hidden_layers (
int, facultatif, par défaut32) — Nombre de couches cachées dans le décodeur Transformer. - layer_norm_epsilon (
float, facultatif, par défaut1e-05) — L'épsilon utilisé par les couches de normalisation de couche. - pad_token_id (
int, facultatif, par défaut0) — Identifiant du jeton utilisé pour le bourrage dans le vocabulaire. - bos_token_id (
int, facultatif, par défaut0) — Identifiant du jeton utilisé pour le début de flux dans le vocabulaire. - eos_token_id (
Union[int, list[int]], facultatif, par défaut0) — Identifiant du jeton utilisé pour la fin de flux dans le vocabulaire. - expand (
int, facultatif, par défaut 2) — Facteur d'expansion utilisé pour déterminer la taille intermédiaire. - conv_kernel (
int, facultatif, par défaut 4) — Taille du noyau de convolution. - use_bias (
bool, facultatif, par défautFalse) — Indique s'il faut utiliser un biais dans ["in_proj", "out_proj"] du bloc mixer - use_conv_bias (
bool, facultatif, par défautTrue) — Indique s'il faut utiliser un biais dans la couche de convolution du bloc mixer. - hidden_act (
str, facultatif, par défautsilu) — La fonction d'activation non linéaire (fonction ou chaîne de caractères) du décodeur. Par exemple,"gelu","relu","silu", etc. - initializer_range (
float, facultatif, par défaut0.1) — L'écart-type de la truncated_normal_initializer utilisé pour initialiser toutes les matrices de poids. - residual_in_fp32 (
bool, facultatif, valeur par défautTrue) — Indique si les résidus doivent être enfloat32. Si défini surFalse, les résidus conservent le mêmedtypeque le reste du modèle - time_step_rank (
Union[str, int], facultatif, par défautauto) — Rang de la projection du delta (pas de temps). Peut être"auto"pour le définir automatiquement. - time_step_scale (
float, facultatif, par défaut1.0) — Échelle appliquée à l'incrément de temps avant la discrétisation. - time_step_min (
float, facultatif, valeur par défaut0.001) —time_stepminimal utilisé pour bornerdt_proj.bias. - time_step_max (
float, facultatif, valeur par défaut0.1) —time_stepmaximal utilisé pour bornerdt_proj.bias. - time_step_init_scheme (
str, facultatif, par défautrandom) — Schéma d'initialisation pour la différence de pas de temps. Peut être"random"ou"uniform". - time_step_floor (
float, facultatif, par défaut0.0001) — Valeur minimale autorisée pour l'incrément discret du temps après l'activation softplus. - rescale_prenorm_residual (
bool, facultatif, par défautFalse) — Indique s'il faut ou non rééchelonner les poids deout_projlors de l'initialisation. - use_cache (
bool, facultatif, valeur par défautTrue) — Indique si le modèle doit retourner les dernières attentions clés/valeurs (non utilisé par tous les modèles). N’est pertinent que siconfig.is_decoder=Trueou si le modèle est un modèle génératif uniquement décodeur. - use_mambapy (
bool, facultatif, valeur par défautFalse) — Détermine la stratégie de repli pendant l’entraînement si l’implémentation officielle de Mamba basée sur CUDA n’est pas disponible. SiTrue, l’implémentation mamba.py est utilisée. SiFalse, l’implémentation naïve et plus lente est utilisée. Pensez à passer à la version naïve si la mémoire est limitée. - use_associative_scan (
bool, facultatif, valeur par défautTrue) — Indique s'il faut utilisertorch._higher_order_ops.associative_scande PyTorch pour le balayage parallèle plutôt que l'implémentation séquentielle naïve. Le balayage associatif n'est actif que lors du traçage detorch.compileet nécessite torch >= 2.9.0. Les deux chemins sont testés pour produire des résultats numériquement identiques (voirtest_associative_scan_matches_sequential). Définissez la valeur surFalsepour revenir à la boucle séquentielle. - tie_word_embeddings (
bool, facultatif, par défautTrue) — Indique s'il faut lier les embeddings de poids selon la correspondancetied_weights_keysdu modèle. - mixer_rms_eps (
float, facultatif, valeur par défaut 1e-06) — La valeur epsilon de la norme RMS utilisée dans la norme RMS du Mixer pour les états B, C et dt.
Ceci est la classe de configuration destinée à stocker la configuration d'un FalconMambaModel. Elle est utilisée pour instancier un modèle Falcon Mamba en fonction des arguments spécifiés, définissant ainsi l'architecture du modèle. L'instanciation d'une configuration avec les valeurs par défaut produira une configuration similaire à celle de tiiuae/falcon-mamba-7b
Les objets de configuration héritent de PreTrainedConfig et peuvent être utilisés pour contrôler les sorties du modèle. Consultez la documentation de PreTrainedConfig pour plus d’informations.
Exemple :
>>> from transformers import FalconMambaConfig, FalconMambaModel
>>> # Initializing a FalconMamba configuration
>>> configuration = FalconMambaConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = FalconMambaModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configFalconMambaModel
classe transformers.FalconMambaModel
< source >( config: FalconMambaConfig )
Paramètres
- config (FalconMambaConfig) — Classe de configuration du modèle contenant tous les paramètres du modèle. L’initialisation à partir d’un fichier de configuration ne charge pas les poids associés au modèle, uniquement la configuration. Consultez la méthode from_pretrained() pour charger les poids du modèle.
Le modèle Falcon Mamba brut, produisant des états cachés bruts sans aucune tête spécifique au sommet.
Ce modèle hérite de PreTrainedModel. Consultez la documentation de la classe parente pour les méthodes génériques que la bibliothèque implémente pour tous ses modèles (tels que le téléchargement ou l'enregistrement, le redimensionnement des embeddings d'entrée, la taille des têtes, etc.)
Ce modèle est également une sous-classe de torch.nn.Module de PyTorch. Utilisez-le comme un module PyTorch standard et consultez la documentation de PyTorch pour tout ce qui concerne l'utilisation et le comportement généraux.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.LongTensor] = Nonecache_params: transformers.cache_utils.Cache | None = Noneuse_cache: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneattention_mask: typing.Optional[torch.LongTensor] = None**kwargs ) → FalconMambaOutput or tuple(torch.Tensor)
Paramètres
- input_ids (
torch.LongTensorde forme(batch_size, sequence_length), facultatif) — Indices des jetons de la séquence d'entrée dans le vocabulaire. Le bourrage (padding) sera ignoré par défaut.Les indices peuvent être obtenus à l'aide de AutoTokenizer. Consultez PreTrainedTokenizer.encode() et PreTrainedTokenizer.call() pour plus de détails.
- inputs_embeds (
torch.LongTensorde forme(batch_size, sequence_length, hidden_size), facultatif) — Facultativement, au lieu de passerinput_ids, vous pouvez choisir de passer directement une représentation intégrée. Cela est utile si vous souhaitez un meilleur contrôle sur la manière de convertir les indicesinput_idsen vecteurs associés que la matrice de recherche d’intégration interne du modèle. - cache_params (
Cache, facultatif) — Si transmis, le modèle utilise l'état précédent dans tous les blocs (ce qui produira la sortie pour lesinput_idsfournis comme si le modèle ajoutaitstate_input_ids + input_idscomme contexte). - use_cache (
bool, facultatif) — Si défini surTrue,cache_paramsest renvoyé et peut être utilisé pour générer rapidement les logits suivants. - output_hidden_states (
bool, facultatif) — Indique s'il faut retourner les états cachés de toutes les couches. Voirhidden_statessous les tenseurs retournés pour plus de détails. - return_dict (
bool, facultatif) — Indique s'il faut retourner un ModelOutput plutôt qu'un simple tuple. - attention_mask (
torch.LongTensorde forme(batch_size, sequence_length), facultatif) — Masque pour éviter d'appliquer l'attention aux indices des jetons de bourrage. Les valeurs du masque sont choisies dans[0, 1]:- 1 pour les jetons qui ne sont pas masqués,
- 0 pour les jetons masqués.
Retourne
FalconMambaOutput ou tuple(torch.Tensor)
Un FalconMambaOutput ou un tuple de
torch.Tensor (si return_dict=False est passé ou lorsque config.return_dict=False) comprenant divers
éléments en fonction de la configuration (FalconMambaConfig) et des entrées.
La méthode forward du modèle FalconMambaModel surcharge la méthode spéciale __call__.
Bien que la recette de la passe avant doive être définie dans cette fonction, il faut ensuite appeler l'instance
Moduleplutôt que celle-ci, car la première gère l'exécution des étapes de prétraitement et de post-traitement, tandis que la seconde les ignore silencieusement.
last_hidden_state (
torch.Tensorde forme(batch_size, sequence_length, hidden_size), facultatif) — Séquence d'états cachés à la sortie de la dernière couche du modèle.cache_params (
~cache_utils.Cache, facultatif) — L'état du modèle à la dernière étape de temps. Peut être utilisé dans une méthode forward avec lesinput_idssuivants pour éviter de fournir les anciensinput_ids.Comprend à la fois les matrices d'état du modèle d'espace d'état après le balayage sélectif et les états convolutifs
hidden_states (
tuple[torch.Tensor], facultatif, renvoyé lorsqueoutput_hidden_states=Trueest passé ou lorsqueconfig.output_hidden_states=True) — Tuple detorch.Tensor(un pour la sortie des embeddings, si le modèle possède une couche d’embedding, + un pour la sortie de chaque couche) de forme(batch_size, sequence_length, hidden_size).États cachés du modèle à la sortie de chaque couche, ainsi que les sorties d'incorporation initiales facultatives.
FalconMambaLMHeadModel
classe transformers.FalconMambaForCausalLM
< source >( config: FalconMambaConfig )
Paramètres
- config (FalconMambaConfig) — Classe de configuration du modèle contenant tous les paramètres du modèle. L’initialisation à partir d’un fichier de configuration ne charge pas les poids associés au modèle, uniquement la configuration. Consultez la méthode from_pretrained() pour charger les poids du modèle.
Le transformer FALCON_MAMBA avec une tête de modélisation de langage au sommet (couche linéaire dont les poids sont liés aux embeddings d'entrée).
Ce modèle hérite de PreTrainedModel. Consultez la documentation de la classe parente pour les méthodes génériques que la bibliothèque implémente pour tous ses modèles (tels que le téléchargement ou l'enregistrement, le redimensionnement des embeddings d'entrée, la taille des têtes, etc.)
Ce modèle est également une sous-classe de torch.nn.Module de PyTorch. Utilisez-le comme un module PyTorch standard et consultez la documentation de PyTorch pour tout ce qui concerne l'utilisation et le comportement généraux.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonecache_params: transformers.cache_utils.Cache | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs ) → FalconMambaCausalLMOutput or tuple(torch.Tensor)
Paramètres
- input_ids (
torch.LongTensorde forme(batch_size, sequence_length), facultatif) — Indices des jetons de la séquence d'entrée dans le vocabulaire. Le bourrage (padding) sera ignoré par défaut.Les indices peuvent être obtenus à l'aide de AutoTokenizer. Consultez PreTrainedTokenizer.encode() et PreTrainedTokenizer.call() pour plus de détails.
- attention_mask (
torch.LongTensorde forme(batch_size, sequence_length), facultatif) — Masque pour éviter d'appliquer l'attention aux indices des jetons de bourrage. Les valeurs du masque sont choisies dans[0, 1]:- 1 pour les jetons qui ne sont pas masqués,
- 0 pour les jetons masqués.
- inputs_embeds (
torch.Tensorde forme(batch_size, sequence_length, hidden_size), facultatif) — Facultativement, au lieu de passerinput_ids, vous pouvez choisir de passer directement une représentation intégrée. Cela est utile si vous souhaitez un meilleur contrôle sur la manière de convertir les indicesinput_idsen vecteurs associés que la matrice de recherche d’intégration interne du modèle. - cache_params (
Cache, facultatif) — Si transmis, le modèle utilise l'état précédent dans tous les blocs (ce qui produira la sortie pour lesinput_idsfournis comme si le modèle ajoutaitstate_input_ids + input_idscomme contexte). - labels (
torch.LongTensorde forme(batch_size, sequence_length), facultatif) — Étiquettes pour le modélisation du langage. Notez que les étiquettes sont décalées à l'intérieur du modèle, c'est-à-dire que vous pouvez définirlabels = input_idsLes indices sont sélectionnés dans[-100, 0, ..., config.vocab_size]Toutes les étiquettes définies sur-100sont ignorées (masquées), la perte n'est calculée que pour les étiquettes dans[0, ..., config.vocab_size] - output_hidden_states (
bool, facultatif) — Indique s'il faut retourner les états cachés de toutes les couches. Voirhidden_statessous les tenseurs retournés pour plus de détails. - return_dict (
bool, facultatif) — Indique s'il faut retourner un ModelOutput plutôt qu'un simple tuple. - use_cache (
bool, facultatif) — Si défini surTrue,cache_paramsest renvoyé et peut être utilisé pour générer rapidement les logits suivants. - logits_to_keep (
Union[int, torch.Tensor], facultatif, valeur par défaut0) — Si c'est unint, calcule les logits pour leslogits_to_keepderniers jetons. Si0, calcule les logits pour tous lesinput_ids(cas particulier). Seuls les logits du dernier jeton sont nécessaires pour la génération, et les calculer uniquement pour ce jeton peut économiser de la mémoire, ce qui devient assez significatif pour les séquences longues ou les tailles de vocabulaire importantes. Si c'est untorch.Tensor, il doit être 1D et correspondre aux indices à conserver dans la dimension de la longueur de la séquence. Cela est utile lors de l'utilisation du format de tenseurs empilés (une seule dimension pour le lot et la longueur de la séquence).
Retourne
FalconMambaCausalLMOutput ou tuple(torch.Tensor)
Un FalconMambaCausalLMOutput ou un tuple de
torch.Tensor (si return_dict=False est passé ou lorsque config.return_dict=False) comprenant divers
éléments en fonction de la configuration (FalconMambaConfig) et des entrées.
La méthode forward de FalconMambaForCausalLM redéfinit la méthode spéciale __call__.
Bien que la recette de la passe avant doive être définie dans cette fonction, il faut ensuite appeler l'instance
Moduleplutôt que celle-ci, car la première gère l'exécution des étapes de prétraitement et de post-traitement, tandis que la seconde les ignore silencieusement.
loss (
torch.Tensorde forme(1,), facultatif, renvoyé lorsquelabelsest fourni) — Perte de modélisation du langage (pour la prédiction du jeton suivant).logits (
torch.Tensorde forme(batch_size, sequence_length, config.vocab_size)) — Scores de prédiction de la tête de modélisation du langage (scores pour chaque jeton du vocabulaire avant SoftMax).cache_params (
~cache_utils.Cache, facultatif) — L'état du modèle à la dernière étape de temps. Peut être utilisé dans une méthode forward avec lesinput_idssuivants pour éviter de fournir les anciensinput_ids.Comprend à la fois les matrices d'état du modèle d'espace d'état après le balayage sélectif et les états convolutifs
hidden_states (
tuple[torch.Tensor], facultatif, renvoyé lorsqueoutput_hidden_states=Trueest passé ou lorsqueconfig.output_hidden_states=True) — Tuple detorch.Tensor(un pour la sortie des embeddings, si le modèle possède une couche d’embedding, + un pour la sortie de chaque couche) de forme(batch_size, sequence_length, hidden_size).États cachés du modèle à la sortie de chaque couche, ainsi que les sorties d'incorporation initiales facultatives.