Transformers documentation

UnlimitedOcr

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2026-06-23 dan disumbangkan ke Hugging Face Transformers pada 2026-10-14.

UnlimitedOcr

Ikhtisar

Model UnlimitedOcr diusulkan dalam Unlimited OCR Works oleh Youyang Yin, Huanhuan Liu, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du, dan Lei Jia dari Baidu Inc.

Ini adalah model tunggal dengan 3B parameter dan panjang konteks standar 32.768 token.

Abstrak dari makalah tersebut adalah sebagai berikut:

Baru-baru ini, model OCR end-to-end, yang diwakili oleh DeepSeek OCR, kembali menempatkan OCR di sorotan. Pandangan yang umum adalah bahwa penggunaan large language model (LLM) sebagai decoder memungkinkan model memanfaatkan distribusi prior bahasa, sehingga meningkatkan kinerja OCR. Namun, sisi negatifnya juga jelas: seiring bertambahnya panjang sekuens output, akumulasi KV cache meningkatkan konsumsi memori dan secara bertahap memperlambat proses generasi. Hal ini sangat bertentangan dengan manusia, yang tidak menunjukkan penurunan efisiensi pada tugas penyalinan jangka panjang. Dalam laporan teknis ini, kami mengusulkan Unlimited OCR, sebuah model yang dirancang untuk meniru working memory parsing manusia. Dengan mengambil DeepSeek OCR sebagai baseline, kami mengganti semua lapisan attention di decoder dengan Reference Sliding Window Attention (R-SWA) yang kami usulkan, yang mengurangi biaya komputasi attention sambil mempertahankan KV cache yang konstan selama seluruh proses decoding. Dengan menggabungkan rasio kompresi tinggi dari encoder DeepSeek OCR dengan desain KV cache konstan kami, Unlimited OCR dapat mentranskripsikan puluhan halaman dokumen dalam satu forward pass di bawah panjang maksimum standar 32K. Yang lebih penting, R-SWA adalah mekanisme attention parsing yang bersifat umum — di luar OCR, mekanisme ini juga dapat diterapkan pada tugas seperti ASR, penerjemahan, dan lain-lain. Kode dan bobot model tersedia secara publik di http://github.com/baidu/Unlimited-OCR

Unlimited-OCR mendukung dua konfigurasi inferensi: mode “gundum” (default) menggunakan tile 640x640 dengan pemotongan dinamis untuk dokumen resolusi tinggi, sedangkan mode “base” menggunakan tampilan global tunggal 1024x1024 untuk input resolusi standar. Untuk mengaktifkan mode base, atur crop_to_patches=False di processor, atau teruskan melalui processor_kwargs saat menggunakan apply_chat_template().

Menara visi mengikuti pendekatan dua tahap dari DeepSeek-OCR-2: encoder SAM ViT-B memberi masukan ke encoder CLIP ViT. Berbeda dengan DeepSeek-OCR-2, fitur CLIP juga digabungkan (concatenated) dengan fitur SAM untuk menghasilkan token gambar akhir. Unlimited-OCR juga mengabaikan patch queries yang dapat dipelajari (learnable) dari DeepSeek-OCR-2.

Model teks ini identik dengan DeepSeek-OCR-2 dengan tambahan Reference Sliding Window Attention (R-SWA). R-SWA hanya diterapkan pada token yang dihasilkan. Semua token gambar dan prompt tetap sepenuhnya terlihat selama proses decoding, sehingga dokumen panjang tidak kehilangan konteks dari halaman sebelumnya.

Model ini disumbangkan oleh guarin. Kode aslinya dapat ditemukan di sini.

Implementasi asli menjalankan model dengan torch.autocast dalam bfloat16. Bungkus panggilan forward dan generate dalam konteks autocast untuk mereproduksi output-nya.
with torch.autocast(device_type=model.device.type, dtype=torch.bfloat16):
    output = model.generate(**inputs)

OCR satu halaman

OCR multi-halaman

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Pemrosesan batch

Untuk pemrosesan batch, berikan daftar pesan. Atur padding=True untuk processor jika gambar memiliki ukuran yang berbeda.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
image2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_receipt.jpeg"
messages = [
    [
        {
            "role": "user",
            "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
        }
    ]
    for image in [image1, image2]
]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    processor_kwargs={"padding": True},
).to(model.device, model.dtype)

output = model.generate(**inputs)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Deteksi wilayah

Setel skip_special_tokens=False untuk membungkus semua deteksi dan jenis region dengan penanda <|det|>...<|/det|>. Hal ini berguna untuk pemrosesan lanjutan (post-processing) pada output, misalnya untuk menggambar kotak batas (bounding box) yang terdeteksi pada gambar. Setiap deteksi dibungkus sebagai <|det|>region_type [x1, y1, x2, y2]<|/det|>text... dengan koordinat yang dinormalisasi ke rentang [0, 999]. Setel return_detections=True untuk mendapatkan daftar tambahan berisi kamus (dictionary) dengan semua deteksi yang diurai (parsed) sebagai {"region_type": region_type, "box": [x1, y1, x2, y2], "text": "..."}.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs)
decoded, detections = processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=False, return_detections=True)
# <|det|>image [383, 87, 497, 171]<|/det|>\n<|det|>text [333, 201, 558, 230]<|/det|>R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# Visualization
import random
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from transformers.image_utils import load_image

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg")
width, height = image.size

figure, axis = plt.subplots(figsize=(10, 12))
axis.imshow(image)
for detection in detections:
    region_type = detection["region_type"]
    x1, y1, x2, y2 = detection["box"]
    x1, y1, x2, y2 = int(x1) / 999 * width, int(y1) / 999 * height, int(x2) / 999 * width, int(y2) / 999 * height
    color = (random.random(), random.random(), random.random())
    rectangle = patches.Rectangle((x1, y1), x2 - x1, y2 - y1, linewidth=1.5, edgecolor=color, facecolor="none")
    axis.add_patch(rectangle)
    axis.text(x1, y1, region_type, color="white", fontsize=8, backgroundcolor=color, verticalalignment="top")
axis.axis("off")
plt.show()

Transformers

UnlimitedOcr

Ikhtisar

Pemrosesan batch

Deteksi wilayah

UnlimitedOcrConfig

kelas transformers.UnlimitedOcrConfig

UnlimitedOcrTextConfig

kelas transformers.UnlimitedOcrTextConfig

UnlimitedOcrVisionConfig

kelas transformers.UnlimitedOcrVisionConfig

UnlimitedOcrVisionEncoderConfig

kelas transformers.UnlimitedOcrVisionEncoderConfig

UnlimitedOcrSamVisionConfig

kelas transformers.UnlimitedOcrSamVisionConfig

UnlimitedOcrImageProcessor

kelas transformers.UnlimitedOcrImageProcessor

crop_image_to_patches

get_number_of_image_patches

pad_to_square

UnlimitedOcrProcessor

kelas transformers.UnlimitedOcrProcessor

batch_decode

decode

UnlimitedOcrPreTrainedModel

kelas transformers.UnlimitedOcrPreTrainedModel

UnlimitedOcrTextPreTrainedModel

kelas transformers.UnlimitedOcrTextPreTrainedModel

UnlimitedOcrTextModel

kelas transformers.UnlimitedOcrTextModel

forward

UnlimitedOcrVisionModel

kelas transformers.UnlimitedOcrVisionModel

forward

UnlimitedOcrModel

kelas transformers.UnlimitedOcrModel

forward

UnlimitedOcrForConditionalGeneration

kelas transformers.UnlimitedOcrForConditionalGeneration

forward