Hugging Face's logo

Transformers documentation

Utilitaires pour les pipelines

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitaires pour les pipelines

Cette page répertorie toutes les fonctions utilitaires que la bibliothèque met à disposition pour les pipelines.

La plupart de ces éléments ne sont utiles que si vous étudiez le code des modèles de la bibliothèque.

Gestion des arguments

classe transformers.pipelines.ArgumentHandler

< >

( )

Interface de base pour la gestion des arguments de chaque Pipeline.

classe transformers.pipelines.ZeroShotClassificationArgumentHandler

< >

( )

Gère les arguments pour la classification de texte en zéro-shot en transformant chaque étiquette possible en une paire prémisse/hypothèse NLI.

Format des données

classe transformers.PipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Paramètres

  • output_path (str) — Emplacement où enregistrer les données sortantes.
  • input_path (str) — Emplacement où rechercher les données d'entrée.
  • column (str) — La colonne à lire.
  • overwrite (bool, facultatif, par défaut False) — Indique s'il faut écraser le output_path.

Classe de base pour tous les formats de données pris en charge par les pipelines, à la fois pour la lecture et l'écriture. Les formats de données pris en charge incluent actuellement :

  • JSON
  • CSV
  • stdin/stdout (tube)

PipelineDataFormat inclut également des utilitaires pour travailler avec des colonnes multiples, comme le mappage des colonnes de jeux de données vers les arguments de mot-clé des pipelines au moyen du format dataset_kwarg_1=dataset_column_1.

from_str

< >

( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat

Paramètres

  • format (str) — Le format du pipeline souhaité. Les valeurs acceptables sont "json", "csv" ou "pipe".
  • output_path (str, facultatif) — Emplacement où enregistrer les données sortantes.
  • input_path (str, facultatif) — Emplacement où rechercher les données d’entrée.
  • column (str, facultatif) — La colonne à lire.
  • overwrite (bool, facultatif, par défaut False) — Indique s'il faut écraser le output_path.

Retourne

PipelineDataFormat

Le format de données approprié.

Crée une instance de la bonne sous-classe de PipelineDataFormat en fonction de format.

save

< >

( data: dict | list[dict] )

Paramètres

  • data (dict ou liste de dict) — Les données à stocker.

Enregistrez l'objet de données fourni avec la représentation pour le PipelineDataFormat actuel.

save_binary

< >

( data: dict | list[dict] ) → str

Paramètres

  • data (dict ou liste de dict) — Les données à stocker.

Retourne

str

Chemin où les données ont été enregistrées.

Enregistrez l'objet de données fourni sur le disque au format binaire pickle.

classe transformers.CsvPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Paramètres

  • output_path (str) — Emplacement où enregistrer les données sortantes.
  • input_path (str) — Emplacement où rechercher les données d'entrée.
  • column (str) — La colonne à lire.
  • overwrite (bool, facultatif, par défaut False) — Indique s'il faut écraser le output_path.

Prise en charge des pipelines utilisant le format de données CSV.

save

< >

( data: list[dict] )

Paramètres

  • data (list[dict]) — Les données à stocker.

Enregistrez l'objet de données fourni avec la représentation pour le PipelineDataFormat actuel.

classe transformers.JsonPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Paramètres

  • output_path (str) — Emplacement où enregistrer les données sortantes.
  • input_path (str) — Emplacement où rechercher les données d'entrée.
  • column (str) — La colonne à lire.
  • overwrite (bool, facultatif, par défaut False) — Indique s'il faut écraser le output_path.

Prise en charge des pipelines utilisant le format de fichier JSON.

save

< >

( data: dict )

Paramètres

  • data (dict) — Les données à stocker.

Enregistrez l'objet de données fourni dans un fichier json.

classe transformers.PipedPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Paramètres

  • output_path (str) — Emplacement où enregistrer les données sortantes.
  • input_path (str) — Emplacement où rechercher les données d'entrée.
  • column (str) — La colonne à lire.
  • overwrite (bool, facultatif, par défaut False) — Indique s'il faut écraser le output_path.

Lisez les données depuis l'entrée pipée du processus python. Pour les données multi-colonnes, les colonnes doivent être séparées par

Si des colonnes sont fournies, la sortie sera un dictionnaire de la forme {column_x: value_x}

save

< >

( data: dict )

Paramètres

  • data (dict) — Les données à stocker.

Afficher les données.

Utilitaires

classe transformers.pipelines.PipelineException

< >

( task: strmodel: strreason: str )

Paramètres

  • task (str) — La tâche du pipeline.
  • model (str) — Le modèle utilisé par le pipeline.
  • reason (str) — Le message d'erreur à afficher.

Lévé par un Pipeline lors du traitement de call.

Update on GitHub

←Utilitaires pour le débogage de modèles Utilitaires pour les tokenizers→