Transformers documentation

Idefics2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2024-05-03 tarihinde HF papers'ta yayımlandı ve 2024-04-15 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Idefics2

Genel Bakış

Idefics2 modeli, Léo Tronchon, Hugo Laurencon ve Victor Sanh tarafından What matters when building vision-language models? makalesinde önerilmiştir. İlgili blog yazısına buradan ulaşabilirsiniz.

Idefics2, görüntü ve metin girdilerinden oluşan keyfi dizileri kabul edip metin çıktısı üreten açık bir çok modallı modeldir. Model, görüntülerle ilgili soruları yanıtlayabilir, görsel içeriği açıklayabilir, birden fazla görüntüye dayalı hikayeler oluşturabilir veya görsel girdiler olmadan saf bir dil modeli gibi davranabilir. Idefics2, özellikle belge anlama, OCR ve görsel akıl yürütme konularında IDEFICS-1'in üzerine koyarak gelişme gösterir. Idefics2 hafiftir (8 milyar parametre) ve görüntüleri yerel en-boy oranlarında ve çözünürlüklerinde işler; bu da değişken çıkarım verimliliğine olanak tanır.

Makalenin özeti aşağıdaki gibidir:

Görsel-dil modellerine (VLM) yönelik artan ilgi, büyük dil modellerindeki ve görsel dönüştürücülerdeki (vision transformer) iyileştirmelerle tetiklenmiştir. Bu konudaki literatürün bolluğuna rağmen, VLM tasarımına ilişkin kritik kararların genellikle gerekçelendirilmediğini gözlemliyoruz. Bu gerekçesiz kararların, model performansını hangi seçimlerin iyileştirdiğini belirlemeyi zorlaştırarak alanın ilerlemesini engellediğini savunuyoruz. Bu sorunu ele almak için, önceden eğitilmiş modeller, mimari seçimi, veri ve eğitim yöntemleri etrafında kapsamlı deneyler yürütüyoruz. Bulgularımızın derlenmesi, 8 milyar parametreli verimli bir temel VLM olan Idefics2'nin geliştirilmesini içermektedir. Idefics2, çeşitli çok modlu (multimodal) kıyaslamalarda kendi boyut kategorisinde en iyi performansı (state-of-the-art) elde etmekte ve sıklıkla kendi boyutunun dört katı olan modellerle yarışmaktadır. Modeli (temel, talimatlı ve sohbet) eğitiminde kullanılan veri setleriyle birlikte yayımlıyoruz.

Idefics2 architecture. Taken from the original paper.

Bu model amyeroberts tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

Her örnek birden fazla görsel içerebilir ve görsel sayısı örnekler arasında değişebilir. İşleyici, model girdisi için girdileri bir partideki en yüksek görsel sayısına kadar doldurur.
İşleyicide do_image_splitting seçeneği vardır. True ise, her giriş görüntüsü 4 alt görüntüye bölünür ve orijinal görüntüyle birleştirilerek 5 görüntü oluşturulur. Bu, model performansını artırmak için faydalıdır. Model bu seçenekle eğitilmemişse, processor.image_processor.do_image_splitting'in False olarak ayarlandığından emin olun.
İşlemciye (processor) aktarılan text, görsellerin yerleştirileceği konumlarda <image> belirteçlerini içermelidir. Metin bir sohbet mesajıysa, her ifadenin sonunda <end_of_utterance> bulunmalıdır.
İşleyicinin, sohbet mesajlarını metne dönüştürmek için kendi apply_chat_template metodu vardır; bu metin daha sonra işleyiciye text olarak geçirilebilir.

Sohbet mesajlarında işlemcinin nasıl kullanılacağına dair bir örnek:

import requests
from PIL import Image

from transformers import Idefics2ForConditionalGeneration, Idefics2Processor


url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"

image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)
images = [image_1, image_2]

messages = [{
    "role": "user",
    "content": [
        {"type": "text", "text": "What’s the difference between these two images?"},
        {"type": "image"},
        {"type": "image"},
    ],
}]

processor = Idefics2Processor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = Idefics2ForConditionalGeneration.from_pretrained("HuggingFaceM4/idefics2-8b", device_map="auto")

# at inference time, one needs to pass `add_generation_prompt=True` in order to make sure the model completes the prompt
text = processor.apply_chat_template(messages, add_generation_prompt=True)
print(text)
# 'User: What’s the difference between these two images?<image><image><end_of_utterance>\nAssistant:'

inputs = processor(images=images, text=text, return_tensors="pt").to(model.device)

generated_text = model.generate(**inputs, max_new_tokens=500)
generated_text = processor.batch_decode(generated_text, skip_special_tokens=True)[0]
print("Generated text:", generated_text)

Eğitim sırasında, modelin hangi tokenları öğrenmemesi gerektiğini belirlemek önemlidir. Idefics2 için bu genellikle görüntü ve dolgu tokenlarına indirgenir. Bu, etiketlerin aşağıdaki gibi oluşturulabileceği anlamına gelir:

import requests
from PIL import Image

from transformers import Idefics2ForConditionalGeneration, Idefics2Processor


url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"

image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)
images = [image_1, image_2]

messages = [{
    "role": "user",
    "content": [
        {"type": "text", "text": "What’s the difference between these two images?"},
        {"type": "image"},
        {"type": "image"},
    ],
},
{
    "role": "assistant",
    "content": [
        {"type": "text", "text": "The difference is that one image is about dogs and the other one about cats."},
    ],
}]


processor = Idefics2Processor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = Idefics2ForConditionalGeneration.from_pretrained("HuggingFaceM4/idefics2-8b", device_map="auto")

text = processor.apply_chat_template(messages, add_generation_prompt=False)
inputs = processor(images=images, text=text, return_tensors="pt").to(model.device)

labels = inputs.input_ids.clone()
labels[labels == processor.tokenizer.pad_token_id] = -100
labels[labels == model.config.image_token_id] = -100

inputs["labels"] = labels

outputs = model(**inputs)
loss = outputs.loss
loss.backward()

Idefics2'yi bir kullanıcı ile bir asistan arasındaki çok turlu konuşmalarda eğitirken, kullanıcı mesajlarına karşılık gelen tüm token'ların da -100 olarak ayarlandığını unutmayın.

Model optimizasyonları: Flash Attention

Yukarıdaki kod parçacıkları, herhangi bir optimizasyon tekniği kullanılmadan çıkarım (inference) işlemini göstermektedir. Ancak, modelin içinde kullanılan dikkat (attention) mekanizmasının daha hızlı bir uygulaması olan Flash Attention kullanılarak modelin hızı önemli ölçüde artırılabilir.

Öncelikle, kayan pencere dikkat (sliding window attention) özelliğini içerecek şekilde Flash Attention 2'nin en son sürümünü yüklediğinizden emin olun.

pip install -U flash-attn --no-build-isolation

Flash-Attention 2 ile uyumlu bir donanıma sahip olduğunuzdan da emin olun. Bu konuda daha fazla bilgi için flash attention deposunun resmi dokümantasyonuna göz atın. Modelinizi yarı hassasiyette (ör. torch.float16) yüklediğinizden de emin olun.

Flash Attention-2 kullanarak bir model yüklemek ve çalıştırmak için, yukarıdaki kod parçasını aşağıdaki değişiklikle değiştirin:

model = Idefics2ForConditionalGeneration.from_pretrained(
    "HuggingFaceM4/idefics2-8b",
+    dtype=torch.float16,
+    attn_implementation="flash_attention_2",
    device_map="auto",
)

Kantizasyon ile Idefics2'nin boyutunu küçültme

Idefics2 modeli 8 milyar parametreye sahip olduğundan, her parametre 2 bayt olarak saklandığı için yarı hassasiyette (float16) yaklaşık 16GB GPU RAM gerektirir. Ancak kantizasyon kullanılarak modelin boyutu küçültülebilir. Model 4 bite (veya parametre başına yarım bayta) kantize edilirse, yalnızca yaklaşık 3,5GB RAM gerektirir.

Bir modeli kuantize etmek, modele quantization_config parametresini geçmek kadar basittir. Yukarıdaki kod parçasını aşağıdaki değişikliklerle güncelleyebilirsiniz. BitsAndBytes kuantizasyonunu kullanacağız (diğer kuantizasyon yöntemleri için bu sayfaya bakın):

+ from transformers import BitsAndBytesConfig

+ quantization_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_compute_dtype=torch.float16
+ )
model = Idefics2ForConditionalGeneration.from_pretrained(
    "HuggingFaceM4/idefics2-8b",
+    dtype=torch.float16,
+    quantization_config=quantization_config,
    device_map="auto",
)

Kaynaklar

Idefics2 ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi. Burada yer alacak bir kaynak göndermek isterseniz, bir Pull Request açmaktan çekinmeyin; inceleyeceğiz! Kaynağın, mevcut bir kaynağı tekrarlamak yerine ideal olarak yeni bir şeyi göstermesi beklenir.

Trainer kullanarak özel bir veri setinde Idefics2'yi ince ayar yapmayı gösteren bir defter burada bulunabilir. Hem tam ince ayarı hem de (kuantize edilmiş) LoRa'yı destekler.
TRL kütüphanesini kullanarak Idefics2'yi ince ayar yapma yöntemini anlatan bir betik burada bulunabilir.
Idefics2'nin JSON çıkarma kullanım senaryoları için ince ayarına ilişkin demo defterine buradan erişebilirsiniz. 🌎

Transformers

Idefics2

Genel Bakış

Kullanım ipuçları

Model optimizasyonları: Flash Attention

Kantizasyon ile Idefics2'nin boyutunu küçültme

Kaynaklar

Idefics2Config

sınıf transformers.Idefics2Config

Idefics2VisionConfig

sınıf transformers.Idefics2VisionConfig

Idefics2PerceiverConfig

sınıf transformers.Idefics2PerceiverConfig

Idefics2Model

sınıf transformers.Idefics2Model

forward

get_image_features

Idefics2ForConditionalGeneration

sınıf transformers.Idefics2ForConditionalGeneration

forward

get_image_features

Idefics2ImageProcessor

sınıf transformers.Idefics2ImageProcessor

ön işleme

Idefics2ImageProcessorPil

sınıf transformers.Idefics2ImageProcessorPil

ön işleme

Idefics2Processor

sınıf transformers.Idefics2Processor

__call__

call