Parâmetros que controlam o comprimento da saída

• max_length (int, opcional) — max_new_tokens é recomendado para controlar quantos tokens o modelo gera. max_length permanece por compatibilidade com versões anteriores.
• max_new_tokens (int, opcional) — O número máximo de tokens a serem gerados, ignorando o número de tokens no prompt.
• min_length (int, opcional) — O comprimento mínimo da sequência a ser gerada. Corresponde ao comprimento do prompt de entrada + min_new_tokens. Seu efeito é sobrescrito por min_new_tokens, se também for definido.
• min_new_tokens (int, opcional) — O número mínimo de tokens a serem gerados, ignorando o número de tokens no prompt.
• early_stopping (bool ou str, opcional) — Controla a condição de parada para métodos baseados em feixes, como beam-search. Aceita os seguintes valores: True, em que a geração para assim que houver num_beams candidatos completos; False, em que uma heurística é aplicada e a geração para quando é muito improvável encontrar candidatos melhores; "never", em que o procedimento de beam search só para quando não podem existir candidatos melhores (algoritmo canônico de beam search).
• max_time (float, opcional) — O tempo máximo, em segundos, que você permite que a computação seja executada. A geração ainda concluirá a passagem atual após o tempo alocado ter sido excedido.
• stop_strings (str ou list[str], opcional) — Uma string ou uma lista de strings que devem encerrar a geração caso o modelo as produza.

Parâmetros que controlam a estratégia de geração utilizada

• do_sample (bool) — Se deve usar amostragem; caso contrário, usa decodificação gulosa.
• num_beams (int, opcional) — Número de feixes para a busca por feixes. 1 significa que não há busca por feixes.
• use_mtp — (bool): Indica se deve ou não usar Multi-Token Prediction (MTP), caso o modelo ofereça suporte a esse recurso.

Parâmetros que controlam o cache

• use_cache (bool) — Se o modelo deve ou não usar as atenções de chaves/valores passados (se aplicável ao modelo) para acelerar a decodificação.
• cache_implementation (str, opcional) — Nome da classe de cache que será instanciada em generate, para decodificação mais rápida. Os valores possíveis são:
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized": QuantizedCache

  Se nenhum for especificado, usaremos o cache padrão do modelo (que frequentemente é DynamicCache). Consulte nossa documentação de cache para mais informações.

• cache_config (dict, opcional, padrão None) — Os argumentos usados na classe de cache de chave-valor podem ser passados em cache_config.
• max_cache_len (int, opcional) — Usado apenas com caches estáticos (cache_implementation definido como "static" ou "offloaded_static"). Pré-dimensiona o cache para este comprimento em vez do max_length da chamada atual. Defina-o uma única vez para o maior comprimento de chamada esperado, para que chamadas repetidas de generate() com um prompt mais longo ou um valor maior de max_new_tokens (até esse limite) reutilizem o mesmo cache em vez de acionar uma realocação e uma recompilação do torch.compile.

Parâmetros para manipulação dos logits de saída do modelo

• temperature (float, opcional) — O valor usado para modular as probabilidades do próximo token. Esse valor é definido no arquivo generation_config.json de um modelo. Se não for definido, o valor padrão é 1.0
• top_k (int, opcional) — O número de tokens do vocabulário com maior probabilidade a serem mantidos para o filtro top-k. Esse valor é definido no arquivo generation_config.json de um modelo. Se não for definido, o valor padrão é 50.
• top_p (float, opcional) — Se definido como float < 1, apenas o menor conjunto de tokens mais prováveis, cujas probabilidades somam top_p ou mais, é mantido para a geração. Esse valor é definido no arquivo generation_config.json de um modelo. Se não for definido, o valor padrão é 1.0
• min_p (float, opcional) — Probabilidade mínima do token, que será escalada pela probabilidade do token mais provável. Deve ser um valor entre 0 e 1. Valores típicos estão na faixa de 0,01 a 0,2, com seletividade comparável à de definir top_p na faixa de 0,99 a 0,8 (use o oposto dos valores normais de top_p).
• top_h (float, opcional) — Fator de escala do orçamento de entropia, que controla quanta da entropia da distribuição é preservada durante a amostragem. Deve ser um valor entre 0 e 1. A cada etapa, os tokens são ordenados por probabilidade, e o menor prefixo de tokens é mantido cuja entropia renormalizada seja menor ou igual a top_h vezes a entropia da distribuição completa. Valores menores (por exemplo, 0,2–0,5) resultam em saídas mais focadas e determinísticas, enquanto valores próximos de 1,0 permitem mais aleatoriedade e diversidade. Os valores típicos estão na faixa de 0,3 a 0,6.
• typical_p (float, opcional) — A tipicidade local mede o quão semelhante a probabilidade condicional de prever o próximo token alvo é à probabilidade condicional esperada de prever um token aleatório a seguir, dado o texto parcial já gerado. Se definido como float < 1, o menor conjunto de tokens mais localmente típicos com probabilidades que somam typical_p ou mais é mantido para a geração. Veja este artigo para mais detalhes.
• epsilon_cutoff (float, opcional) — Se definido como um float estritamente entre 0 e 1, apenas tokens com probabilidade condicional maior que epsilon_cutoff serão amostrados. No artigo, os valores sugeridos variam de 3e-4 a 9e-4, dependendo do tamanho do modelo. Consulte Truncation Sampling as Language Model Desmoothing para mais detalhes.
• eta_cutoff (float, opcional) — A amostragem Eta é um híbrido da amostragem localmente típica e da amostragem epsilon. Se definido como um float estritamente entre 0 e 1, um token só é considerado se for maior que eta_cutoff ou sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))). O segundo termo é, intuitivamente, a probabilidade esperada do próximo token, escalonada por sqrt(eta_cutoff). No artigo, os valores sugeridos variam de 3e-4 a 2e-3, dependendo do tamanho do modelo. Consulte Truncation Sampling as Language Model Desmoothing para mais detalhes.
• repetition_penalty (float, opcional) — O parâmetro para a penalidade de repetição. 1.0 significa sem penalidade. Veja este artigo para mais detalhes.
• encoder_repetition_penalty (float, opcional) — O parâmetro para encoder_repetition_penalty. Uma penalidade exponencial para sequências que não estão na entrada original. 1.0 significa sem penalidade.
• length_penalty (float, opcional) — Penalidade exponencial ao comprimento, utilizada na geração baseada em feixe. Ela é aplicada como um expoente ao comprimento da sequência, que por sua vez é usado para dividir a pontuação da sequência. Como a pontuação é a verossimilhança logarítmica da sequência (ou seja, negativa), length_penalty > 0.0 favorece sequências mais longas, enquanto length_penalty < 0.0 incentiva sequências mais curtas.
• no_repeat_ngram_size (int, opcional) — Se definido como int > 0, todos os ngrams desse tamanho podem ocorrer apenas uma vez.
• bad_words_ids (list[list[int]], opcional) — Lista de listas de ids de tokens que não podem ser gerados. Consulte NoBadWordsLogitsProcessor para mais documentação e exemplos.
• renormalize_logits (bool) — Indica se os logits devem ser renormalizados após a aplicação de todos os processadores de logits (incluindo os personalizados). É altamente recomendável definir essa flag como True, pois os algoritmos de busca pressupõem que os logits de pontuação estão normalizados, mas alguns processadores de logits quebram essa normalização.
• forced_bos_token_id (int, opcional, padrão model.config.forced_bos_token_id) — O id do token a ser forçado como o primeiro token gerado após o decoder_start_token_id. Útil para modelos multilíngues como mBART, em que o primeiro token gerado precisa ser o token do idioma de destino.
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — Se deve remover possíveis saídas nan e inf do modelo para evitar que o método de geração falhe. Observe que o uso de remove_invalid_values pode tornar a geração mais lenta.
• exponential_decay_length_penalty (tuple(int, float), opcional) — Esta Tuple adiciona uma penalidade de comprimento que aumenta exponencialmente, após a geração de uma certa quantidade de tokens. A tupla deve consistir em: (start_index, decay_factor), onde start_index indica onde a penalidade começa e decay_factor representa o fator de decaimento exponencial
• suppress_tokens (list[int], opcional) — Uma lista de tokens que serão suprimidos na geração. O logit processor SuppressTokens definirá seus log probs como -inf para que não sejam amostrados.
• begin_suppress_tokens (list[int], opcional) — Uma lista de tokens que serão suprimidos no início da geração. O processador de logits SuppressBeginTokens definirá seus log probs como -inf para que não sejam amostrados.
• sequence_bias (dict[tuple[int], float], opcional) — Dicionário que mapeia uma sequência de tokens para seu termo de viés. Viés positivos aumentam as chances de a sequência ser selecionada, enquanto viés negativos fazem o oposto. Consulte SequenceBiasLogitsProcessor para mais documentação e exemplos.
• token_healing (bool) — Corrige os tokens finais dos prompts substituindo-os pelas suas extensões apropriadas. Isso melhora a qualidade das conclusões para prompts afetados pelo viés de tokenização gulosa.
• guidance_scale (float, opcional) — A escala de orientação para classifier free guidance (CFG). O CFG é ativado definindo guidance_scale > 1. Uma escala de orientação mais alta incentiva o modelo a gerar amostras mais próximas do prompt de entrada, geralmente em detrimento da qualidade.
• watermarking_config (BaseWatermarkingConfig ou dict, opcional) — Argumentos usados para aplicar marca d'água às saídas do modelo, adicionando um pequeno viés a um conjunto aleatório de tokens “verdes”. Consulte a documentação de SynthIDTextWatermarkingConfig e WatermarkingConfig para mais detalhes. Se for passado como Dict, será convertido internamente para WatermarkingConfig.

Parâmetros que definem as variáveis de saída de generate

• num_return_sequences (int, opcional) — O número de sequências retornadas, calculadas de forma independente, para cada elemento do lote.
• output_attentions (bool) — Indica se os tensores de atenção de todas as camadas de atenção devem ser retornados. Consulte attentions em tensores retornados para mais detalhes.
• output_hidden_states (bool) — Indica se as camadas ocultas de todas as camadas devem ser retornadas. Consulte hidden_states em tensores retornados para mais detalhes.
• output_scores (bool) — Indica se as pontuações de previsão devem ser retornadas. Consulte scores em tensores retornados para mais detalhes.
• output_logits (bool) — Indica se os scores de logit de previsão não processados devem ser retornados. Consulte logits em tensors retornados para mais detalhes.
• return_dict_in_generate (bool) — Indica se deve retornar um ModelOutput, em vez de retornar exclusivamente a sequência gerada. Essa flag deve ser definida como True para retornar o cache de geração (quando use_cache é True) ou saídas opcionais (veja as flags que começam com output_)

Tokens especiais que podem ser usados no momento da geração

• pad_token_id (int, opcional) — O id do token de padding.
• bos_token_id (int, opcional) — O id do token de início de sequência.
• eos_token_id (Union[int, list[int]], opcional) — O id do token de fim de sequência. Opcionalmente, use uma lista para definir múltiplos tokens de fim de sequência.

Parâmetros de geração exclusivos para modelos encoder-decoder

• encoder_no_repeat_ngram_size (int, opcional) — Se definido como int > 0, todos os ngrams desse tamanho que ocorrem em encoder_input_ids não podem ocorrer em decoder_input_ids.
• decoder_start_token_id (int ou list[int], opcional) — Se um modelo encoder-decoder inicia a decodificação com um token diferente de bos, o id desse token ou uma lista de comprimento batch_size. Indicar uma lista permite usar ids de início diferentes para cada elemento do lote (por exemplo, modelos multilíngues com idiomas de destino diferentes em um único lote)

Parâmetros de geração exclusivos para a geração do assistente

• is_assistant (bool) — Indica se o modelo é um modelo assistente (rascunho).
• num_assistant_tokens (int, opcional) — Define o número de tokens especulativos que devem ser gerados pelo modelo assistente antes de serem verificados pelo modelo alvo em cada iteração. Valores maiores para num_assistant_tokens tornam a geração mais especulativa: se o modelo assistente for eficiente, maiores ganhos de velocidade podem ser alcançados; se o modelo assistente exigir muitas correções, os ganhos de velocidade serão menores.
• num_assistant_tokens_schedule (str, opcional) — Define a agenda na qual o número máximo de tokens do assistente deve ser alterado durante a inferência.
  • "heuristic": Quando todos os tokens especulativos estão corretos, aumente num_assistant_tokens em 2; caso contrário, reduza em 1. O valor de num_assistant_tokens é persistente entre várias chamadas de geração com o mesmo modelo de assistente.
  • "heuristic_transient": Igual a "heuristic", mas num_assistant_tokens é redefinido para o valor inicial após cada chamada de geração.
  • "constant": num_assistant_tokens permanece inalterado durante a geração
• assistant_confidence_threshold (float, opcional) — O limiar de confiança para o modelo assistente. Se a confiança do modelo assistente em sua previsão para o token atual for menor do que este limiar, o modelo assistente interrompe a iteração atual de geração de tokens, mesmo que o número de tokens especulativos (definido por num_assistant_tokens) ainda não tenha sido atingido. O limiar de confiança do assistente é ajustado ao longo das iterações especulativas para reduzir o número de passes de forward desnecessários do rascunho e do alvo, com viés para evitar falsos negativos. O valor de assistant_confidence_threshold é persistente entre múltiplas chamadas de geração com o mesmo modelo assistente. É uma versão não supervisionada do dynamic speculation lookahead de Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://huggingface.co/papers/2405.04304.
• prompt_lookup_num_tokens (int, opcional) — O número de tokens a serem exibidos como tokens candidatos.
• max_matching_ngram_size (int, opcional) — O tamanho máximo de ngram a ser considerado para correspondência no prompt. O padrão é 2, se não for fornecido.
• assistant_early_exit(int, optional) — Se definido como um inteiro positivo, o early exit do modelo será utilizado como um assistente. Pode ser usado apenas com modelos que suportam early exit (ou seja, modelos em que os logits das camadas intermediárias podem ser interpretados pelo LM head).
• assistant_lookbehind(int, opcional) — Se definido como um inteiro positivo, o processo de re-encoding considerará adicionalmente os últimos assistant_lookbehind tokens do assistente para alinhar corretamente os tokens. Pode ser usado apenas com tokenizers diferentes em decodificação especulativa. Veja este blog para mais detalhes.
• target_lookbehind(int, opcional) — Se definido como um inteiro positivo, o processo de re-encoding considerará adicionalmente os últimos target_lookbehind tokens de destino para alinhar corretamente os tokens. Pode ser usado apenas com tokenizers diferentes em speculative decoding. Veja este blog para mais detalhes.
• assistant_ensemble_weight (float, opcional) — Ativa a verificação de ensemble estático no decodificação especulativa. Se definido para um valor em (0.0, 1.0), o verificador aceita tokens em relação à mistura w * p_target + (1 - w) * q_draft em vez de p_target, trocando um viés distribucional controlado por uma taxa de aceitação mais alta. O valor padrão é None, o que mantém a decodificação sem perdas. Exige que o modelo assistente retorne logits, portanto não é compatível com a decodificação por busca de prompt.
• speculation_type (str, opcional) — O tipo de especulação solicitado. Os valores aceitos são dflash.

Parâmetros relacionados a desempenho e compilação

• compile_config (CompileConfig, opcional) — Se estiver usando um cache compilável, isso controla como o generate irá compile a passagem direta para uma inferência mais rápida.
• disable_compile (bool) — Se deve desabilitar a compilação automática da passagem direta (forward pass). A compilação automática ocorre quando critérios específicos são atendidos, incluindo o uso de um cache compilável. Abra uma issue se você encontrar a necessidade de usar essa flag.