Hugging Face's logo

Datasets documentation

Utilitários

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitários

Configurar o registro

🤗 O Datasets busca ser transparente e explícito sobre como funciona, mas isso pode ser bastante verboso às vezes. Incluímos uma série de métodos de log que permitem ajustar facilmente o nível de verbosidade de toda a biblioteca. Atualmente, a verbosidade padrão da biblioteca está definida como WARNING.

Para alterar o nível de verbosidade, use um dos setters diretos. Por exemplo, veja como alterar a verbosidade para o nível INFO:

import datasets
datasets.logging.set_verbosity_info()

Você também pode usar a variável de ambiente DATASETS_VERBOSITY para substituir a verbosidade padrão e configurá-la com um dos seguintes valores: debug, info, warning, error, critical:

DATASETS_VERBOSITY=error ./myprogram.py

Todos os métodos deste módulo de registro estão documentados abaixo. Os principais são:

Em ordem do menos para o mais verboso (com seus valores int correspondentes):

  1. logging.CRITICAL ou logging.FATAL (valor inteiro, 50): relata apenas os erros mais críticos.
  2. logging.ERROR (valor int, 40): relata apenas erros.
  3. logging.WARNING ou logging.WARN (valor inteiro, 30): relata apenas erros e avisos. Este é o nível padrão usado pela biblioteca.
  4. logging.INFO (valor int, 20): relata erros, avisos e informações básicas.
  5. logging.DEBUG (valor int, 10): relata todas as informações.

datasets.utils.logging.get_verbosity

< >

( )

Retorna o nível atual do logger raiz da biblioteca de datasets do HuggingFace.

A biblioteca de datasets do HuggingFace possui os seguintes níveis de log:

  • datasets.logging.CRITICAL, datasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNING, datasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

Parâmetros

  • verbosity — Nível de log, por exemplo, datasets.logging.DEBUG e datasets.logging.INFO.

Defina o nível do logger raiz da biblioteca Hugging Face Datasets.

datasets.utils.logging.set_verbosity_info

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para INFO.

Isso exibirá a maior parte das informações de log e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.INFO).

datasets.utils.logging.set_verbosity_warning

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para WARNING.

Isso exibirá apenas as informações de log de avisos e erros e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.WARNING).

datasets.utils.logging.set_verbosity_debug

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para DEBUG.

Isso exibirá todas as informações de log e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.DEBUG).

datasets.utils.logging.set_verbosity_error

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para ERROR.

Isso exibirá apenas as informações de log de erros e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.ERROR).

datasets.utils.logging.disable_propagation

< >

( )

Desative a propagação das saídas de log da biblioteca. Observe que a propagação de logs é desativada por padrão.

datasets.utils.logging.enable_propagation

< >

( )

Ative a propagação das saídas de log da biblioteca. Desative o manipulador padrão da biblioteca de datasets do Hugging Face para evitar log duplicado, caso o logger raiz tenha sido configurado.

Configure barras de progresso

Por padrão, as barras de progresso tqdm serão exibidas durante o download e o pré-processamento do conjunto de dados. Você pode desativá-las globalmente definindo a variável de ambiente HF_DATASETS_DISABLE_PROGRESS_BARS. Você também pode ativá-las/desativá-las usando enable_progress_bars() e disable_progress_bars(). Se definida, a variável de ambiente tem prioridade sobre os auxiliares.

datasets.enable_progress_bars

< >

( )

Ative as barras de progresso globais usadas em datasets, exceto se a variável de ambiente HF_DATASETS_DISABLE_PROGRESS_BARS tiver sido definida.

Use disable_progress_bars() para desativá-los.

datasets.disable_progress_bars

< >

( )

Desative globalmente as barras de progresso usadas em datasets, exceto se a variável de ambiente HF_DATASETS_DISABLE_PROGRESS_BARS tiver sido definida.

Use enable_progress_bars() para reativá-los.

datasets.are_progress_bars_disabled

< >

( )

Retorna se as barras de progresso estão globalmente desativadas ou não.

As barras de progresso usadas em datasets podem ser ativadas ou desativadas globalmente usando enable_progress_bars() e disable_progress_bars() ou definindo HF_DATASETS_DISABLE_PROGRESS_BARS como variável de ambiente.

Update on GitHub

←Classes de Tabela