Transformers documentation

Mixtral

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 08.01.2024 и добавлена в Hugging Face Transformers 11.12.2023.

Mixtral

Обзор

Mixtral-8x7B был представлен в блог-посте Mixtral of Experts авторами: Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lélio Renard Lavaud, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed.

Во введении к статье в блоге сказано:

Сегодня команда с гордостью представляет Mixtral 8x7B — высококачественную разреженную модель с механизмом выбора экспертов (SMoE) с открытыми весами. Лицензия — Apache 2.0. Mixtral превосходит Llama 2 70B по большинству бенчмарков при 6-кратном ускорении инференса. Это самая сильная модель с открытыми весами и разрешительной лицензией, а также лучшая модель в целом с точки зрения соотношения стоимости и производительности. В частности, она соответствует или превосходит GPT3.5 по большинству стандартных бенчмарков.

Mixtral-8x7B — это вторая большая языковая модель (LLM), выпущенная mistral.ai, после Mistral-7B.

Детали архитектуры

Mixtral-8x7B — это Transformer только с декодером со следующими архитектурными решениями:

Mixtral is a Mixture of Experts (MoE) model with 8 experts per MLP, with a total of 45 billion parameters. To learn more about mixture-of-experts, refer to the blog post.
Несмотря на то, что модель содержит 45 миллиардов параметров, вычислительные ресурсы, необходимые для одного прямого прохода, сопоставимы с ресурсами модели на 14 миллиардов параметров. Это объясняется тем, что, хотя каждый из экспертов должен быть загружен в оперативную память (требования к RAM сопоставимы с моделью на 70B), каждый токен из скрытых состояний маршрутизируется дважды (top 2 routing), в результате чего вычислительная нагрузка (операции, выполняемые на каждом шаге прямого прохода) составляет всего 2 X sequence_length.

Следующие детали реализации совпадают с деталями первой модели Mistral AI Mistral-7B:

Sliding Window Attention — обучена с длиной контекста 8k и фиксированным размером кэша, с теоретическим охватом внимания 128K токенов
GQA (Grouped Query Attention) — обеспечивает более быстрый вывод и меньший размер кэша.
BPE-токенизатор с байтовым fallback — гарантирует, что символы никогда не отображаются на токены вне словаря.

Подробнее см. в посте в блоге о выпуске.

Лицензия

Mixtral-8x7B распространяется по лицензии Apache 2.0.

Советы по использованию

Команда Mistral выпустила 2 контрольные точки:

базовая модель, Mixtral-8x7B-v0.1, которая была предварительно обучена предсказывать следующий токен на данных интернет-масштаба.
модель, обученная по инструкциям, Mixtral-8x7B-Instruct-v0.1, которая является базовой моделью, оптимизированной для целей чата с использованием контролируемого дообучения (SFT) и прямой оптимизации предпочтений (DPO).

Базовую модель можно использовать следующим образом:

from transformers import AutoModelForCausalLM, AutoTokenizer


model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

prompt = "My favourite condiment is"

model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"My favourite condiment is to ..."

Модель, прошедшая инструкционную настройку, можно использовать следующим образом:

from transformers import AutoModelForCausalLM, AutoTokenizer


model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"Mayonnaise can be made as follows: (...)"

Как видно, для модели, прошедшей инструкционную настройку, необходимо применить шаблон чата, чтобы убедиться, что входные данные подготовлены в правильном формате.

Ускорение Mixtral с помощью Flash Attention

Приведённые выше фрагменты кода демонстрируют инференс без каких-либо оптимизаций. Однако модель можно значительно ускорить, используя Flash Attention — более быструю реализацию механизма внимания, применяемого внутри модели.

Сначала убедитесь, что установлена последняя версия Flash Attention 2, чтобы использовать функцию скользящего окна внимания.

pip install -U flash-attn --no-build-isolation

Также убедитесь, что ваше оборудование совместимо с Flash-Attention 2. Подробнее об этом можно прочитать в официальной документации репозитория flash attention. Также убедитесь, что вы загружаете модель в половинной точности (например, torch.float16).

Чтобы загрузить и запустить модель с использованием Flash Attention-2, обратитесь к фрагменту кода ниже:

from transformers import AutoModelForCausalLM, AutoTokenizer


model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", attn_implementation="flash_attention_2", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

prompt = "My favourite condiment is"

model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"The expected output"

Ожидаемое ускорение

Ниже приведена диаграмма с ожидаемым ускорением, сравнивающая время чистого инференса между нативной реализацией в transformers с использованием чекпоинта mistralai/Mixtral-8x7B-v0.1 и версией модели с Flash Attention 2.

Sliding window Attention

Текущая реализация поддерживает механизм скользящего окна внимания и эффективное управление кэшем памяти. Чтобы включить скользящее окно внимания, убедитесь, что у вас установлена версия flash-attn, совместимая со скользящим окном внимания (>=2.3.0).

Модель Flash Attention-2 также использует более эффективный по памяти механизм нарезки кэша — в соответствии с рекомендациями официального реализации модели Mistral, использующей механизм скользящего кэша, мы поддерживаем фиксированный размер кэша (self.config.sliding_window), поддерживаем пакетную генерацию только для padding_side="left" и используем абсолютную позицию текущего токена для вычисления позиционного эмбеддинга.

Сокращение Mixtral с помощью квантования

Поскольку модель Mixtral содержит 45 миллиардов параметров, для её хранения в половинной точности (float16) потребуется около 90 ГБ видеопамяти GPU, так как каждый параметр занимает 2 байта. Однако размер модели можно уменьшить с помощью квантования. Если модель квантована до 4 бит (то есть до половины байта на параметр), то для размещения всей модели достаточно одного A100 с 40 ГБ памяти, поскольку в этом случае требуется лишь около 27 ГБ.

Квантование модели сводится к передаче параметра quantization_config в модель. Ниже мы используем библиотеку квантования bitsandbytes (но см. эту страницу для альтернативных методов квантования):

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig


# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype="torch.float16",
)

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", quantization_config=True, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

prompt = "My favourite condiment is"

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"The expected output"

Эта модель была предоставлена Younes Belkada и Arthur Zucker. Исходный код можно найти здесь.

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены 🌎), которые помогут вам начать работу с Mixtral. Если вы хотите предложить ресурс для включения в этот список, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать существующий.

Text Generation

Демо-ноутбук для выполнения контролируемой дообучения (SFT) модели Mixtral-8x7B можно найти здесь. 🌎
Статья в блоге о дообучении Mixtral-8x7B с использованием PEFT. 🌎
Alignment Handbook от Hugging Face содержит скрипты и рецепты для выполнения дообучения с учителем (SFT) и прямой оптимизации предпочтений (DPO) для модели Mistral-7B. Включены скрипты для полного дообучения, QLoRa на одном ускорителе, а также дообучения на нескольких ускорителях.
Руководство по задаче каузального языкового моделирования

Transformers

Mixtral

Обзор

Детали архитектуры

Лицензия

Советы по использованию

Ускорение Mixtral с помощью Flash Attention

Ожидаемое ускорение

Sliding window Attention

Сокращение Mixtral с помощью квантования

Ресурсы

MixtralConfig

класс transformers.MixtralConfig

MistralCommonBackend

класс transformers.MistralCommonBackend

add_special_tokens

add_tokens

apply_chat_template

batch_decode

build_inputs_with_special_tokens

convert_added_tokens

create_token_type_ids_from_sequences

decode

encode

from_pretrained

get_chat_template

get_special_tokens_mask

get_vocab

num_special_tokens_to_add

prepare_for_model

save_chat_templates

save_pretrained

save_vocabulary

tokenize

truncate_sequences

MixtralModel

класс transformers.MixtralModel

forward

MixtralForCausalLM

класс transformers.MixtralForCausalLM

forward

MixtralForSequenceClassification

класс transformers.MixtralForSequenceClassification

forward

MixtralForTokenClassification

класс transformers.MixtralForTokenClassification

forward

MixtralForQuestionAnswering

класс transformers.MixtralForQuestionAnswering

forward