Transformers documentation

GOT-OCR2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 03.09.2024 и добавлена в Hugging Face Transformers 31.01.2025.

GOT-OCR2

Обзор

Модель GOT-OCR2 была предложена в работе General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model авторами Haoran Wei, Chenglong Liu, Jinyue Chen, Jia Wang, Lingyu Kong, Yanming Xu, Zheng Ge, Liang Zhao, Jianjian Sun, Yuang Peng, Chunrui Han, Xiangyu Zhang.

Аннотация из статьи следующая:

Традиционные системы OCR (OCR-1.0) всё чаще не способны удовлетворить потребности пользователей из-за растущего спроса на интеллектуальную обработку искусственных оптических символов. В данной работе мы объединяем все искусственные оптические сигналы (например, обычный текст, математические/молекулярные формулы, таблицы, диаграммы, нотные записи и даже геометрические фигуры) под общим термином «символы» и предлагаем общую теорию OCR (General OCR Theory) вместе с отличной моделью GOT, чтобы содействовать наступлению эпохи OCR-2.0. GOT, содержащая 580 млн параметров, представляет собой единую, элегантную и сквозную модель, состоящую из высококомпрессионного энкодера и декодера с поддержкой длинного контекста. Как модель OCR-2.0, GOT способна обрабатывать все перечисленные «символы» в рамках различных задач OCR. На стороне ввода модель поддерживает как слайсы, так и целые страницы в формате сценарных и документных изображений. На стороне вывода GOT может генерировать результаты в обычном или форматированном виде (markdown/tikz/smiles/kern) с помощью простого промпта. Кроме того, модель обладает функциями интерактивного OCR, а именно распознаванием на уровне областей с использованием координат или цветов. Помимо этого, мы адаптировали для GOT технологии динамического разрешения и OCR для многостраничных документов, чтобы повысить её практическую применимость. В экспериментах мы приводим достаточные результаты, подтверждающие превосходство нашей модели.

GOT-OCR2 training stages. Taken from the original paper.

Советы:

GOT-OCR2 работает с широким спектром задач, включая OCR обычных документов, OCR текста в сценах, OCR документов с форматированием, а также OCR таблиц, диаграмм, математических формул, геометрических фигур, молекулярных формул и нотных записей. Данная реализация модели выводит только обычный текст, однако результаты можно дополнительно обработать для отображения в нужном формате с помощью пакетов, таких как pdftex, mathpix, matplotlib, tikz, verovio или pyecharts. Модель также можно использовать для интерактивного OCR, где пользователь указывает область для распознавания, задавая координаты или цвет ограничивающего прямоугольника.

Эта модель была предоставлена пользователем yonigozlan. Исходный код можно найти здесь.

Установите use_kernels=True в from_pretrained(), чтобы заменить поддерживаемые слои на оптимизированные ядра из Hub. Подробнее см. в разделе Загрузка ядер.

Пример использования

Вывод в формате обычного текста

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"
inputs = processor(image, return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM\nName/Phone Ext. : (...)"

Пакетный вывод в формате обычного текста

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"

inputs = processor([image1, image2], return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4,
)

processor.batch_decode(generate_ids[:, inputs["input_ids"].shape[1] :], skip_special_tokens=True)
["Reducing the number", "R&D QUALITY"]

Вывод с форматированием

GOT-OCR2 также может генерировать форматированный текст, например, в формате markdown или LaTeX. Ниже приведен пример генерации форматированного текста:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/latex.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\author{\nHanwen Jiang*{@html " $\\quad$ "} Arjun Karpur{@html " ${ }^{\\dagger} \\quad$ "} Bingyi Cao{@html " ${ }^{\\dagger} \\quad$ "} (...)"

Инференс на нескольких страницах

Хотя в большинстве случаев для обработки нескольких страниц разумно использовать цикл «for», некоторые текстовые данные с форматированием, распределенным по нескольким страницам, требуют одновременной обработки всех страниц. GOT вводит функцию многостраничного OCR (без цикла «for»), при которой модель может обрабатывать несколько страниц одновременно, а на выходе получается один непрерывный текст. Ниже приведен пример того, как обрабатывать несколько страниц одновременно:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page1.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page2.png"
inputs = processor([image1, image2], return_tensors="pt", multi_page=True, format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\title{\nGeneral OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model\n}\n\\author{\nHaoran Wei (...)"

Вывод на обрезанных фрагментах

GOT поддерживает разрешение входных изображений 1024×1024, чего достаточно для большинства задач OCR, таких как распознавание текста на изображениях сцены или обработка страниц PDF формата A4. Однако в некоторых сценариях, например при работе с горизонтально склеенными двухстраничными PDF-документами, часто встречающимися в научных статьях, или с изображениями с необычным соотношением сторон, обработка изображения целиком может привести к снижению точности. Для решения этой проблемы GOT может динамически разрезать изображение на фрагменты (патчи), обработать их все за один проход и объединить результаты, что обеспечивает более высокую точность для таких входных данных. Ниже приведен пример обработки обрезанных фрагментов:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/one_column.png"
inputs = processor(image, return_tensors="pt", format=True, crop_to_patches=True, max_patches=3, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"on developing architectural improvements to make learnable matching methods generalize.\nMotivated by the above observations, (...)"

Вывод в конкретном регионе

GOT поддерживает интерактивный OCR, при котором пользователь может указать область для распознавания, задав координаты или цвет ограничивающего прямоугольника. Ниже приведен пример обработки конкретной области:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
inputs = processor(image, return_tensors="pt", color="green", device=device).to(model.device) # or box=[x1, y1, x2, y2] for coordinates (image pixels)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"You should keep in mind what features from the module should be used, especially \nwhen you’re planning to sell a template."

Пример инференса на общих данных OCR: нотный стан

Хотя данная реализация модели выводит только обычный текст, результаты можно дополнительно обработать для отображения в нужном формате с помощью пакетов pdftex, mathpix, matplotlib, tikz, verovio или pyecharts. Ниже приведен пример обработки нотного станa:

import verovio

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/sheet_music.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

outputs = processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
tk = verovio.toolkit()
tk.loadData(outputs)
tk.setOptions(
    {
        "pageWidth": 2100,
        "pageHeight": 800,
        "footer": "none",
        "barLineWidth": 0.5,
        "beamMaxSlope": 15,
        "staffLineWidth": 0.2,
        "spacingStaff": 6,
    }
)
tk.getPageCount()
svg = tk.renderToSVG()
svg = svg.replace('overflow="inherit"', 'overflow="visible"')
with open("output.svg", "w") as f:
    f.write(svg)

Transformers

GOT-OCR2

Обзор

Пример использования

Вывод в формате обычного текста

Пакетный вывод в формате обычного текста

Вывод с форматированием

Инференс на нескольких страницах

Вывод на обрезанных фрагментах

Вывод в конкретном регионе

Пример инференса на общих данных OCR: нотный стан

GotOcr2Config

класс transformers.GotOcr2Config

GotOcr2VisionConfig

класс transformers.GotOcr2VisionConfig

GotOcr2ImageProcessor

класс transformers.GotOcr2ImageProcessor

preprocess

GotOcr2ImageProcessorPil

класс transformers.GotOcr2ImageProcessorPil

preprocess

GotOcr2Processor

класс transformers.GotOcr2Processor

__call__

GotOcr2Model

класс transformers.GotOcr2Model

forward

get_image_features

get_placeholder_mask

GotOcr2ForConditionalGeneration

класс transformers.GotOcr2ForConditionalGeneration

forward

get_image_features

call