Transformers documentation

Emu3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2024-09-27 tarihinde HF papers'ta yayımlandı ve 2025-01-10 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Emu3

Genel Bakış

Emu3 modeli, Xinlong Wang, Xiaosong Zhang, Zhengxiong Luo, Quan Sun, Yufeng Cui, Jinsheng Wang, Fan Zhang, Yueze Wang, Zhen Li, Qiying Yu, Yingli Zhao, Yulong Ao, Xuebin Min, Tao Li, Boya Wu, Bo Zhao, Bowen Zhang, Liangdong Wang, Guang Liu, Zheqi He, Xi Yang, Jingjing Liu, Yonghua Lin, Tiejun Huang ve Zhongyuan Wang tarafından Emu3: Next-Token Prediction is All You Need makalesinde önerilmiştir.

Emu3, görüntüleri ayrık token'lara dönüştürmek için vektör kuantizasyonu kullanan çok modlu bir LLM'dir. Ayrıklaştırılmış görüntü token'ları, daha sonra görüntü ve metin üretimi için metin token kimlikleriyle birleştirilir. Model, görüntü token kimliklerini tahmin ederek ayrıca görüntü üretebilir.

Makalenin özeti aşağıdaki gibidir:

Sonraki token tahmini, yapay genel zekâya giden umut verici bir yol olarak kabul edilse de, hâlen difüzyon modellerinin (ör. Stable Diffusion) ve kompozisyonel yaklaşımların (ör. LLM'lerle birleştirilmiş CLIP) baskın olduğu çok modlu görevlerde üstün performans göstermekte zorlanmıştır. Bu makalede, yalnızca sonraki token tahmini ile eğitilen, son teknoloji çok modlu modellerin yeni bir seti olan Emu3'ü tanıtıyoruz. Görselleri, metinleri ve videoları ayrık bir uzaya tokenize ederek, çok modlu dizilerin bir karışımı üzerinde sıfırdan tek bir transformer eğitiyoruz. Emu3, hem üretim hem de algılama görevlerinde birçok yerleşik, görev-özel modelin performansını aşarak SDXL ve LLaVA-1.6 gibi amiral gemisi modelleri geride bırakırken, difüzyon veya kompozisyonel mimarilere olan ihtiyacı ortadan kaldırır. Emu3, bir video dizisindeki sonraki token'ı tahmin ederek yüksek sadakatli video üretme yeteneğine de sahiptir. Karmaşık çok modlu model tasarımlarını tek bir odak noktasında birleştirerek basitleştiriyoruz: tokenlar. Bu sayede hem eğitim hem de çıkarım sırasında ölçeklendirme için büyük bir potansiyel açığa çıkıyor. Sonuçlarımız, dilin ötesinde genel çok modlu zekâ inşa etmede sonraki token tahmininin umut verici bir yol olduğunu göstermektedir. Bu yöndeki araştırmaları desteklemek için temel teknikleri ve modelleri açık kaynak olarak yayımlıyoruz.

İpuçları:

Toplu üretimden önce processor.tokenizer.padding_side = "left" değerini ayarlamayı öneririz; bu, daha doğru sonuçlar elde edilmesini sağlar.
Modelin sohbet için belirli bir istem formatıyla eğitildiğini unutmayın. İsteminizi doğru biçimlendirmek için processor.apply_chat_template(my_conversation_dict) kullanın.
Emu3, görüntü üretimi ve metin üretimi için iki farklı checkpoint'e sahiptir; modeli yüklerken doğru checkpoint'i kullandığınızdan emin olun. Görüntü üretmek için, üretilen token'ların yalnızca olası görüntü token'larından örneklenmesini sağlamak üzere prefix_constraints kullanılması önerilir. Kullanım örnekleri için aşağıya bakın.

Transformers içindeki Emu3 uygulaması, görsel gömme (embedding) birleşimlerinin nerede yapılacağını belirtmek için özel bir görsel token kullanır. Bu özel görsel token yeni değildir ve ayrılmış tokenlerden birini kullanır: <|extra_0|>. Doğru üretim için, görselin gömülmesi gereken yere istem (prompt)ınıza <image> eklemeniz gerekir.

Bu model RaushanTurganbay tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım örneği

Metin üretimi çıkarımı

Modeli yüklemenin ve metin veya metin ve görsel girdilerden metinsel çıktı üretmek için yarım hassasiyetle (torch.bfloat16) çıkarım yapmanın yöntemi aşağıdaki gibidir:

import requests
from PIL import Image

from transformers import Emu3ForConditionalGeneration, Emu3Processor


processor = Emu3Processor.from_pretrained("BAAI/Emu3-Chat-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Chat-hf", device_map="auto")

# prepare image and text prompt
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
prompt = "What do you see in this image?<image>"

inputs = processor(images=image, text=prompt, return_tensors="pt").to(model.device)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=50)
print(processor.decode(output[0], skip_special_tokens=True))

Görsel üretme çıkarımı

Emu3, metin girdisinden de görsel üretebilir. Bunu nasıl yapabileceğiniz aşağıda gösterilmektedir:

processor = Emu3Processor.from_pretrained("BAAI/Emu3-Gen-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Gen-hf", device_map="auto", attn_implementation="flash_attention_2")


inputs = processor(
    text=["a portrait of young girl. masterpiece, film grained, best quality.", "a dog running under the rain"],
    padding=True,
    return_tensors="pt",
    return_for_image_generation=True,
)
inputs = inputs.to(device=model.device)

neg_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry."
neg_inputs = processor(text=[neg_prompt] * 2, return_tensors="pt").to(device=model.device)

image_sizes = inputs.pop("image_sizes")
HEIGHT, WIDTH = image_sizes[0]
VISUAL_TOKENS = model.vocabulary_mapping.image_tokens

def prefix_allowed_tokens_fn(batch_id, input_ids):
    height, width = HEIGHT, WIDTH
    visual_tokens = VISUAL_TOKENS
    image_wrapper_token_id = torch.tensor([processor.tokenizer.image_wrapper_token_id], device=model.device)
    eoi_token_id = torch.tensor([processor.tokenizer.eoi_token_id], device=model.device)
    eos_token_id = torch.tensor([processor.tokenizer.eos_token_id], device=model.device)
    pad_token_id = torch.tensor([processor.tokenizer.pad_token_id], device=model.device)
    eof_token_id = torch.tensor([processor.tokenizer.eof_token_id], device=model.device)
    eol_token_id = processor.tokenizer.encode("<|extra_200|>", return_tensors="pt").to(model.device)[0]

    position = torch.nonzero(input_ids == image_wrapper_token_id, as_tuple=True)[0][0]
    offset = input_ids.shape[0] - position
    if offset % (width + 1) == 0:
        return (eol_token_id, )
    elif offset == (width + 1) * height + 1:
        return (eof_token_id, )
    elif offset == (width + 1) * height + 2:
        return (eoi_token_id, )
    elif offset == (width + 1) * height + 3:
        return (eos_token_id, )
    elif offset > (width + 1) * height + 3:
        return (pad_token_id, )
    else:
        return visual_tokens


out = model.generate(
    **inputs,
    max_new_tokens=50_000, # make sure to have enough tokens for one image
    prefix_allowed_tokens_fn=prefix_allowed_tokens_fn,
    return_dict_in_generate=True,
    negative_prompt_ids=neg_inputs.input_ids, # indicate for Classifier-Free Guidance
    negative_prompt_attention_mask=neg_inputs.attention_mask,
)

image = model.decode_image_tokens(out.sequences[:, inputs.input_ids.shape[1]: ], height=HEIGHT, width=WIDTH)
images = processor.postprocess(list(image.float()), return_tensors="PIL.Image.Image").to(model.device) # internally we convert to np but it's not supported in bf16 precision
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Emu3

Genel Bakış

Kullanım örneği

Metin üretimi çıkarımı

Görsel üretme çıkarımı

Emu3Config

sınıf transformers.Emu3Config

Emu3VQVAEConfig

sınıf transformers.Emu3VQVAEConfig

Emu3TextConfig

sınıf transformers.Emu3TextConfig

Emu3Processor

sınıf transformers.Emu3Processor

__call__

Emu3ImageProcessor

sınıf transformers.Emu3ImageProcessor

ön işleme

Emu3VQVAE

sınıf transformers.Emu3VQVAE

forward

Emu3TextModel

sınıf transformers.Emu3TextModel

forward

Emu3Model

sınıf transformers.Emu3Model

decode_image_tokens

forward

get_image_features

get_image_tokens

get_placeholder_mask

Emu3ForCausalLM

sınıf transformers.Emu3ForCausalLM

forward

Emu3ForConditionalGeneration

sınıf transformers.Emu3ForConditionalGeneration

forward

call