Parámetros que controlan la longitud de la salida

• max_length (int, opcional) — Se recomienda max_new_tokens para controlar cuántos tokens genera el modelo. max_length se mantiene por compatibilidad con versiones anteriores.
• max_new_tokens (int, opcional) — El número máximo de tokens a generar, ignorando el número de tokens del prompt.
• min_length (int, opcional) — La longitud mínima de la secuencia que se generará. Corresponde a la longitud del prompt de entrada + min_new_tokens. Su efecto se anula por min_new_tokens, si también se establece.
• min_new_tokens (int, opcional) — El número mínimo de tokens que se deben generar, ignorando el número de tokens del prompt.
• early_stopping (bool o str, opcional) — Controla la condición de parada para los métodos basados en beam, como beam-search. Acepta los siguientes valores: True, donde la generación se detiene en cuanto hay num_beams candidatos completos; False, donde se aplica una heurística y la generación se detiene cuando es muy improbable encontrar mejores candidatos; "never", donde el procedimiento de beam search solo se detiene cuando no pueden existir mejores candidatos (algoritmo canónico de beam search).
• max_time (float, opcional) — La cantidad máxima de tiempo, en segundos, que se permite para la ejecución del cálculo. La generación aún completará la pasada actual una vez que se haya agotado el tiempo asignado.
• stop_strings (str o list[str], opcional) — Una cadena o una lista de cadenas que deben terminar la generación si el modelo las emite.

Parámetros que controlan la estrategia de generación utilizada

• do_sample (bool) — Si se usa muestreo o no; de lo contrario, se usa decodificación codiciosa.
• num_beams (int, opcional) — Número de haces para la búsqueda por haces. 1 significa que no se realiza búsqueda por haces.
• use_mtp — (bool): Si se debe usar la predicción de múltiples tokens (MTP) si el modelo lo admite.

Parámetros que controlan la caché

• use_cache (bool) — Si el modelo debe o no utilizar las atenciones de claves/valores pasadas (si es aplicable al modelo) para acelerar la decodificación.
• cache_implementation (str, opcional) — Nombre de la clase de caché que se instanciará en generate, para un decodificado más rápido. Los valores posibles son:
  • "dynamic": DynamicCache
  • "static": StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized": QuantizedCache

  Si no se especifica ninguna, se utilizará la caché predeterminada del modelo (que a menudo es DynamicCache). Consulte nuestra documentación de caché para obtener más información.

• cache_config (dict, opcional, valor predeterminado None) — Los argumentos utilizados en la clase de caché de clave-valor pueden pasarse en cache_config.
• max_cache_len (int, opcional) — Solo se utiliza con cachés estáticas (cache_implementation establecido en "static" o "offloaded_static"). Dimensiona la caché de antemano a esta longitud en lugar de la max_length de la llamada actual. Establécela una sola vez al tamaño de la llamada más grande que esperes para que las llamadas repetidas a generate() con un prompt más largo o un max_new_tokens mayor (hasta este límite) reutilicen la misma caché en lugar de provocar una nueva asignación de memoria y una recompilación de torch.compile.

Parámetros para la manipulación de los logits de salida del modelo

• temperature (float, opcional) — El valor utilizado para modular las probabilidades del siguiente token. Este valor se establece en el archivo generation_config.json de un modelo. Si no se establece, el valor predeterminado es 1.0
• top_k (int, opcional) — El número de tokens del vocabulario con mayor probabilidad que se conservan para el filtrado top-k. Este valor se establece en el archivo generation_config.json de un modelo. Si no se establece, el valor predeterminado es 50.
• top_p (float, opcional) — Si se establece en un float < 1, solo se conservan para la generación el conjunto más pequeño de tokens más probables cuyas probabilidades suman top_p o más. Este valor se establece en el archivo generation_config.json de un modelo. Si no se establece, el valor predeterminado es 1.0
• min_p (float, opcional) — Probabilidad mínima del token, que se escala por la probabilidad del token más probable. Debe ser un valor entre 0 y 1. Los valores típicos están en el rango de 0.01 a 0.2, con una selectividad comparable a la de establecer top_p en el rango de 0.99 a 0.8 (utilice el opuesto de los valores habituales de top_p).
• top_h (float, opcional) — Factor de escalado del presupuesto de entropía, que controla cuánto de la entropía de la distribución se preserva al muestrear. Debe ser un valor entre 0 y 1. En cada paso, los tokens se ordenan por probabilidad y se conserva el prefijo más pequeño de tokens cuya entropía renormalizada sea menor o igual a top_h veces la entropía de la distribución completa. Valores más pequeños (p. ej., 0.2–0.5) producen salidas más enfocadas y deterministas, mientras que valores cercanos a 1.0 permiten más aleatoriedad y diversidad. Los valores típicos están en el rango de 0.3 a 0.6.
• typical_p (float, opcional) — La tipicidad local mide qué tan similar es la probabilidad condicional de predecir el siguiente token objetivo a la probabilidad condicional esperada de predecir un token aleatorio a continuación, dado el texto parcial ya generado. Si se establece en float < 1, se conservan para la generación el conjunto más pequeño de tokens más localmente típicos cuyas probabilidades suman typical_p o más. Consulte este artículo para más detalles.
• epsilon_cutoff (float, opcional) — Si se establece en un float estrictamente entre 0 y 1, solo se muestrearán tokens con una probabilidad condicional mayor que epsilon_cutoff. En el artículo, los valores sugeridos van desde 3e-4 hasta 9e-4, dependiendo del tamaño del modelo. Consulte Truncation Sampling as Language Model Desmoothing para más detalles.
• eta_cutoff (float, opcional) — El muestreo Eta es un híbrido del muestreo localmente típico y el muestreo epsilon. Si se establece en un float estrictamente entre 0 y 1, un token solo se considera si es mayor que eta_cutoff o sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))). El segundo término es, intuitivamente, la probabilidad esperada del siguiente token, escalada por sqrt(eta_cutoff). En el artículo, los valores sugeridos van desde 3e-4 hasta 2e-3, dependiendo del tamaño del modelo. Consulte Truncation Sampling as Language Model Desmoothing para más detalles.
• repetition_penalty (float, opcional) — El parámetro para la penalización de repetición. 1.0 significa sin penalización. Consulte este artículo para más detalles.
• encoder_repetition_penalty (float, opcional) — El parámetro para encoder_repetition_penalty. Una penalización exponencial para las secuencias que no están en la entrada original. 1.0 significa sin penalización.
• length_penalty (float, opcional) — Penalización exponencial de la longitud que se utiliza con la generación basada en beam. Se aplica como exponente a la longitud de la secuencia, que a su vez se utiliza para dividir la puntuación de la secuencia. Dado que la puntuación es la verosimilitud logarítmica de la secuencia (es decir, negativa), length_penalty > 0.0 promueve secuencias más largas, mientras que length_penalty < 0.0 fomenta secuencias más cortas.
• no_repeat_ngram_size (int, opcional) — Si se establece en un int > 0, todos los ngramas de ese tamaño solo pueden ocurrir una vez.
• bad_words_ids (list[list[int]], opcional) — Lista de listas de ids de tokens que no se permiten generar. Consulta NoBadWordsLogitsProcessor para obtener más documentación y ejemplos.
• renormalize_logits (bool) — Si se deben renormalizar los logits después de aplicar todos los procesadores de logits (incluidos los personalizados). Se recomienda encarecidamente establecer esta bandera en True, ya que los algoritmos de búsqueda suponen que los logits de puntuación están normalizados, pero algunos procesadores de logits rompen la normalización.
• forced_bos_token_id (int, opcional, valor predeterminado model.config.forced_bos_token_id) — El id del token que se fuerza como primer token generado después de decoder_start_token_id. Útil para modelos multilingües como mBART donde el primer token generado debe ser el token del idioma de destino.
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — Si se deben eliminar posibles salidas nan y inf del modelo para evitar que el método de generación falle. Tenga en cuenta que el uso de remove_invalid_values puede ralentizar la generación.
• exponential_decay_length_penalty (tuple(int, float), opcional) — Esta tupla añade una penalización de longitud que aumenta exponencialmente después de que se hayan generado un cierto número de tokens. La tupla debe consistir en: (start_index, decay_factor) donde start_index indica dónde comienza la penalización y decay_factor representa el factor de decaimiento exponencial
• suppress_tokens (list[int], opcional) — Una lista de tokens que se suprimirán durante la generación. El procesador de logits SuppressTokens establecerá sus probabilidades de registro en -inf para que no se muestreen.
• begin_suppress_tokens (list[int], opcional) — Una lista de tokens que se suprimirán al inicio de la generación. El procesador de logits SuppressBeginTokens establecerá sus probabilidades de registro en -inf para que no se muestreen.
• sequence_bias (dict[tuple[int], float], opcional) — Diccionario que asigna a una secuencia de tokens su término de sesgo. Los sesgos positivos aumentan la probabilidad de que la secuencia sea seleccionada, mientras que los sesgos negativos hacen lo contrario. Consulte SequenceBiasLogitsProcessor para obtener más documentación y ejemplos.
• token_healing (bool) — Repara los tokens finales de los prompts reemplazándolos con sus extensiones apropiadas. Esto mejora la calidad de las completaciones para los prompts afectados por el sesgo de tokenización codiciosa.
• guidance_scale (float, opcional) — La escala de guía para la guía libre de clasificador (CFG). CFG se habilita estableciendo guidance_scale > 1. Una escala de guía más alta anima al modelo a generar muestras más estrechamente vinculadas al prompt de entrada, generalmente a costa de una menor calidad.
• watermarking_config (BaseWatermarkingConfig o dict, opcional) — Argumentos utilizados para aplicar marca de agua a las salidas del modelo añadiendo un pequeño sesgo a un conjunto aleatorio de tokens “verdes”. Consulte la documentación de SynthIDTextWatermarkingConfig y WatermarkingConfig para más detalles. Si se pasa como Dict, se convertirá internamente en un WatermarkingConfig.

Parámetros que definen las variables de salida de generate

• num_return_sequences (int, opcional) — El número de secuencias devueltas calculadas de forma independiente para cada elemento del lote.
• output_attentions (bool) — Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte attentions en los tensores devueltos para obtener más detalles.
• output_hidden_states (bool) — Indica si se deben devolver los estados ocultos de todas las capas. Consulte hidden_states en los tensores devueltos para obtener más detalles.
• output_scores (bool) — Indica si se deben devolver las puntuaciones de predicción. Consulte scores en los tensores devueltos para más detalles.
• output_logits (bool) — Indica si se deben devolver las puntuaciones de logit de predicción sin procesar. Consulte logits en los tensores devueltos para obtener más detalles.
• return_dict_in_generate (bool) — Indica si se debe devolver un ModelOutput en lugar de devolver exclusivamente la secuencia generada. Esta bandera debe establecerse en True para devolver la caché de generación (cuando use_cache es True) o las salidas opcionales (vea las banderas que comienzan con output_)

Tokens especiales que se pueden usar en el momento de la generación

• pad_token_id (int, opcional) — El id del token de padding.
• bos_token_id (int, opcional) — El id del token de inicio de secuencia.
• eos_token_id (Union[int, list[int]], opcional) — El id del token de fin de secuencia. Opcionalmente, use una lista para establecer varios tokens de fin de secuencia.

Parámetros de generación exclusivos para modelos encoder-decoder

• encoder_no_repeat_ngram_size (int, opcional) — Si se establece en un int > 0, todos los ngramas de ese tamaño que aparecen en encoder_input_ids no pueden aparecer en decoder_input_ids.
• decoder_start_token_id (int o list[int], opcional) — Si un modelo encoder-decoder inicia la decodificación con un token diferente al bos, el id de ese token o una lista de longitud batch_size. Indicar una lista permite usar ids de inicio diferentes para cada elemento del lote (p. ej., modelos multilingües con idiomas objetivo distintos en un mismo lote)

Parámetros de generación exclusivos para la generación del asistente

• is_assistant (bool) — Indica si el modelo es un modelo asistente (borrador).
• num_assistant_tokens (int, opcional) — Define el número de fichas especulativas que debe generar el modelo asistente antes de ser verificadas por el modelo objetivo en cada iteración. Valores más altos para num_assistant_tokens hacen que la generación sea más especulativa : si el modelo asistente es eficiente, se pueden alcanzar mayores aceleraciones; si el modelo asistente requiere muchas correcciones, se alcanzan aceleraciones menores.
• num_assistant_tokens_schedule (str, opcional) — Define el calendario según el cual se deben cambiar los tokens máximos del asistente durante la inferencia.
  • "heuristic": Cuando todos los tokens especulativos son correctos, se aumenta num_assistant_tokens en 2; en caso contrario, se reduce en 1. El valor de num_assistant_tokens es persistente entre varias llamadas de generación con el mismo modelo asistente.
  • "heuristic_transient": Igual que "heuristic", pero num_assistant_tokens se restablece a su valor inicial después de cada llamada de generación.
  • "constant": num_assistant_tokens permanece sin cambios durante la generación
• assistant_confidence_threshold (float, opcional) — El umbral de confianza para el modelo asistente. Si la confianza del modelo asistente en su predicción para el token actual es inferior a este umbral, el modelo asistente detiene la iteración actual de generación de tokens, incluso si no se ha alcanzado aún el número de tokens especulativos (definido por num_assistant_tokens). El umbral de confianza del asistente se ajusta a lo largo de las iteraciones especulativas para reducir el número de pases de inferencia innecesarios del modelo de borrador y del modelo objetivo, con un sesgo hacia evitar falsos negativos. El valor de assistant_confidence_threshold es persistente entre múltiples llamadas de generación con el mismo modelo asistente. Es una versión no supervisada del https://huggingface.co/papers/2405.04304 de Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models.
• prompt_lookup_num_tokens (int, opcional) — El número de tokens que se emitirán como tokens candidatos.
• max_matching_ngram_size (int, opcional) — El tamaño máximo de ngramas a considerar para la coincidencia en el prompt. El valor predeterminado es 2 si no se proporciona.
• assistant_early_exit(int, optional) — Si se establece en un entero positivo, se utilizará la salida anticipada del modelo como asistente. Solo se puede usar con modelos que admitan la salida anticipada (es decir, modelos en los que los logits de las capas intermedias pueden ser interpretados por la cabeza del LM).
• assistant_lookbehind(int, optional) — Si se establece en un entero positivo, el proceso de re-codificación considerará además los últimos assistant_lookbehind tokens del asistente para alinear correctamente los tokens. Solo se puede usar con tokenizadores diferentes en la decodificación especulativa. Vea este blog para más detalles.
• target_lookbehind(int, opcional) — Si se establece en un entero positivo, el proceso de re-codificación considerará además los últimos target_lookbehind tokens objetivo para alinear correctamente los tokens. Solo se puede usar con tokenizadores diferentes en la decodificación especulativa. Vea este blog para más detalles.
• assistant_ensemble_weight (float, opcional) — Habilita la verificación de ensemble estático en la decodificación especulativa. Si se establece en un valor dentro de (0.0, 1.0), el verificador acepta tokens frente a la mezcla w * p_target + (1 - w) * q_draft en lugar de p_target, intercambiando un sesgo distribucional controlado por una tasa de aceptación más alta. El valor predeterminado es None, lo que mantiene la decodificación sin pérdidas. Requiere que el modelo asistente devuelva logits, por lo que no es compatible con la decodificación mediante búsqueda de prompt.
• speculation_type (str, opcional) — El tipo de especulación solicitado. Los valores aceptados son dflash.

Parámetros relacionados con el rendimiento y la compilación

• compile_config (CompileConfig, opcional) — Si se utiliza una compilable cache, esto controla cómo generate va a compile el paso hacia adelante para una inferencia más rápida.
• disable_compile (bool) — Si se debe deshabilitar la compilación automática de la pasada hacia adelante. La compilación automática se produce cuando se cumplen criterios específicos, incluido el uso de una cache compilable. Abra un issue si encuentra la necesidad de usar esta bandera.