Transformers documentation

GOT-OCR2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2024-09-03 tarihinde HF papers'ta yayımlandı ve 2025-01-31 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

GOT-OCR2

Genel Bakış

GOT-OCR2 modeli, Haoran Wei, Chenglong Liu, Jinyue Chen, Jia Wang, Lingyu Kong, Yanming Xu, Zheng Ge, Liang Zhao, Jianjian Sun, Yuang Peng, Chunrui Han ve Xiangyu Zhang tarafından General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model makalesinde önerilmiştir.

Makalenin özeti aşağıdaki gibidir:

Geleneksel OCR sistemleri (OCR-1.0), yapay optik karakterlerin akıllı işlenmesine yönelik artan talep nedeniyle insanların kullanım ihtiyaçlarını giderek karşılayamaz hale gelmektedir. Bu makalede, tüm yapay optik sinyalleri (ör. düz metinler, matematik/moleküler formüller, tablolar, grafikler, nota kağıtları ve hatta geometrik şekiller) “karakter” olarak adlandırıyor ve OCR-2.0’ın gelişimini teşvik etmek amacıyla Genel OCR Teorisi’ni (GOT) ve mükemmel bir model olan GOT’u öneriyoruz. 580M parametreye sahip GOT, yüksek sıkıştırma oranına sahip bir kodlayıcı ve uzun bağlam çözücüden oluşan birleşik, zarif ve uçtan uca bir modeldir. Bir OCR-2.0 modeli olarak GOT, yukarıda belirtilen tüm “karakterleri” çeşitli OCR görevlerinde işleyebilir. Girdi tarafında model, dilim ve tam sayfa stillerinde yaygın olarak kullanılan sahne ve belge tarzı görüntüleri destekler. Çıktı tarafında GOT, basit bir istem aracılığıyla düz veya biçimlendirilmiş sonuçlar (markdown/tikz/smiles/kern) üretebilir. Ayrıca model, koordinatlar veya renkler tarafından yönlendirilen bölge düzeyinde tanıma gibi etkileşimli OCR özelliklerine sahiptir. Bunun yanı sıra, GOT’a daha iyi pratiklik için dinamik çözünürlük ve çok sayfalı OCR teknolojilerini de uyarladık. Deneylerde, modelimizin üstünlüğünü kanıtlamak için yeterli sonuçlar sunuyoruz.

GOT-OCR2 training stages. Taken from the original paper.

İpuçları:

GOT-OCR2, düz belge OCR, sahne metni OCR, biçimlendirilmiş belge OCR ve hatta tablolar, grafikler, matematiksel formüller, geometrik şekiller, moleküler formüller ve nota müziği için OCR dahil olmak üzere geniş bir görev yelpazesinde çalışır. Modelin bu uygulaması yalnızca düz metin çıktısı üretse de, pdftex, mathpix, matplotlib, tikz, verovio veya pyecharts gibi paketlerle çıktılar, istenen biçimi oluşturmak için daha fazla işlenebilir. Model, kullanıcının bölgenin sınırlayıcı kutusunun koordinatlarını veya rengini sağlayarak tanınacak bölgeyi belirleyebildiği etkileşimli OCR için de kullanılabilir.

Bu model yonigozlan tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

from_pretrained() içinde use_kernels=True değerini ayarlayarak desteklenen katmanları Hub'daki optimize edilmiş çekirdeklerle değiştirin. Daha fazla bilgi için Çekirdekleri yükleme bölümüne bakın.

Kullanım örneği

Düz metin çıkarımı

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"
inputs = processor(image, return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM\nName/Phone Ext. : (...)"

Düz metin çıkarımı toplu

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"

inputs = processor([image1, image2], return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4,
)

processor.batch_decode(generate_ids[:, inputs["input_ids"].shape[1] :], skip_special_tokens=True)
["Reducing the number", "R&D QUALITY"]

Biçimlendirilmiş metin çıkarımı

GOT-OCR2, markdown veya LaTeX gibi biçimlendirilmiş metinler de üretebilir. Biçimlendirilmiş metin üretmenin bir örneği aşağıda verilmiştir:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/latex.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\author{\nHanwen Jiang*{@html " $\\quad$ "} Arjun Karpur{@html " ${ }^{\\dagger} \\quad$ "} Bingyi Cao{@html " ${ }^{\\dagger} \\quad$ "} (...)"

Birden çok sayfada çıkarım

Çoğu durumda çok sayfalı işleme için bir “for döngüsü” kullanmak makul görünse de, birden fazla sayfaya yayılan biçimlendirme içeren bazı metin verileri, tüm sayfaların aynı anda işlenmesini gerektirir. GOT, “for döngüsü” olmadan çok sayfalı OCR özelliğini sunar; bu özellikte model birden fazla sayfayı aynı anda işleyebilir ve çıktı tek bir kesintisiz metin olarak üretilir. Birden fazla sayfanın aynı anda işlenmesinin bir örneği aşağıda verilmiştir:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page1.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page2.png"
inputs = processor([image1, image2], return_tensors="pt", multi_page=True, format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\title{\nGeneral OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model\n}\n\\author{\nHaoran Wei (...)"

Kırpmış yamalar üzerinde çıkarım

GOT, 1024×1024 giriş çözünürlüğünü destekler; bu, sahne OCR veya A4 boyutlu PDF sayfalarının işlenmesi gibi çoğu OCR görevi için yeterlidir. Ancak, akademik makalelerde sıkça karşılaşılan yatay olarak birleştirilmiş iki sayfalı PDF'ler veya alışılmadık en-boy oranlarına sahip görüntüler gibi belirli senaryolar, tek bir görüntü olarak işlendiğinde doğruluk sorunlarına yol açabilir. Bu sorunu çözmek için GOT, bir görüntüyü dinamik olarak yamalar (patch) halinde kırpabilir, bunları tek seferde işleyebilir ve bu tür girdilerde daha iyi doğruluk için sonuçları birleştirebilir. Kırpılmış yamaların nasıl işleneceğine dair bir örnek aşağıda verilmiştir:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/one_column.png"
inputs = processor(image, return_tensors="pt", format=True, crop_to_patches=True, max_patches=3, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"on developing architectural improvements to make learnable matching methods generalize.\nMotivated by the above observations, (...)"

Belirli bir bölgede çıkarım

GOT, kullanıcının bölgenin sınırlayıcı kutusunun koordinatlarını veya rengini sağlayarak tanınacak bölgeyi belirleyebileceği etkileşimli OCR'yi destekler. Belirli bir bölgeyi işlemenin bir örneği aşağıda verilmiştir:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
inputs = processor(image, return_tensors="pt", color="green", device=device).to(model.device) # or box=[x1, y1, x2, y2] for coordinates (image pixels)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"You should keep in mind what features from the module should be used, especially \nwhen you’re planning to sell a template."

Genel OCR verilerinde çıkarım örneği: notalar

Bu model uygulaması yalnızca düz metin üretecek olsa da, çıktılar pdftex, mathpix, matplotlib, tikz, verovio veya pyecharts gibi paketlerle işlenerek istenen biçimde görüntülenebilir. Notaların nasıl işleneceğine dair bir örnek aşağıda verilmiştir:

import verovio

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/sheet_music.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

outputs = processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
tk = verovio.toolkit()
tk.loadData(outputs)
tk.setOptions(
    {
        "pageWidth": 2100,
        "pageHeight": 800,
        "footer": "none",
        "barLineWidth": 0.5,
        "beamMaxSlope": 15,
        "staffLineWidth": 0.2,
        "spacingStaff": 6,
    }
)
tk.getPageCount()
svg = tk.renderToSVG()
svg = svg.replace('overflow="inherit"', 'overflow="visible"')
with open("output.svg", "w") as f:
    f.write(svg)

Transformers

GOT-OCR2

Genel Bakış

Kullanım örneği

Düz metin çıkarımı

Düz metin çıkarımı toplu

Biçimlendirilmiş metin çıkarımı

Birden çok sayfada çıkarım

Kırpmış yamalar üzerinde çıkarım

Belirli bir bölgede çıkarım

Genel OCR verilerinde çıkarım örneği: notalar

GotOcr2Config

sınıf transformers.GotOcr2Config

GotOcr2VisionConfig

sınıf transformers.GotOcr2VisionConfig

GotOcr2ImageProcessor

sınıf transformers.GotOcr2ImageProcessor

ön işleme

GotOcr2ImageProcessorPil

sınıf transformers.GotOcr2ImageProcessorPil

ön işleme

GotOcr2Processor

sınıf transformers.GotOcr2Processor

__call__

GotOcr2Model

sınıf transformers.GotOcr2Model

forward

get_image_features

get_placeholder_mask

GotOcr2ForConditionalGeneration

sınıf transformers.GotOcr2ForConditionalGeneration

forward

get_image_features

call