Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была добавлена в Hugging Face Transformers 20.03.2024.

LLaVA-NeXT

LLaVA‑NeXT улучшает Llava, увеличивая разрешение входного изображения в 4 раза и поддерживая 3 соотношения сторон (до 672x672, 336x1344, 1344x336) для более точного восприятия визуальных деталей. Кроме того, модель обучается на улучшенном наборе данных для визуального инструктивного тюнинга, охватывающем больше сценариев и приложений, что повышает качество OCR и рассуждений на основе здравого смысла.

Все исходные контрольные точки LLaVA‑NeXT можно найти в коллекции LLaVA-NeXT.

Эта модель была добавлена пользователем nielsr.

Щёлкните по моделям LLaVA‑NeXT в боковой панели справа, чтобы увидеть больше примеров применения Llava-NeXT к различным мультимодальным задачам.

Приведённый ниже пример показывает, как генерировать текст на основе изображения с помощью Pipeline или класса AutoModel.

Пайплайн

AutoModel

Квантование снижает нагрузку на память при работе с большими моделями, представляя веса в пониженной точности. Подробнее о доступных бэкендах квантования см. в обзоре Квантование.

Приведённый ниже пример использует bitsandbytes для квантования только весов до int4.

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Примечания

Разные контрольные точки (Mistral, Vicuna и т. д.) требуют определённого формата промпта в зависимости от базовой LLM. Всегда используйте apply_chat_template(), чтобы обеспечить правильное форматирование. Дополнительные сведения см. в руководстве Templates.
Установите padding_side="left" при пакетной генерации для получения более точных результатов.

processor.tokenizer.padding_side = "left"

LLaVA-NeXT использует разное количество патчей для изображений и выполняет выравнивание входных данных внутри кода моделирования, за исключением случаев, когда выравнивание выполняется на этапе обработки. По умолчанию используется выравнивание слева, если модель находится в режиме eval(), в противном случае — выравнивание справа.
Модели LLaVA после версии v4.46 выводят предупреждения о необходимости добавить processor.patch_size = {{patch_size}}, processor.num_additional_image_tokens = {{num_additional_image_tokens}} и processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}. Если вы являетесь владельцем контрольной точки модели, настоятельно рекомендуется добавить эти атрибуты в процессор; в противном случае, пожалуйста, создайте PR.

Добавление этих атрибутов позволяет LLaVA пытаться определить количество токенов изображения, необходимых на каждое изображение, и расширить текст тем же количеством плейсхолдеров токенов <image>. Обычно на изображение приходится около 500 токенов, поэтому убедитесь, что текст не обрезается, так как это приведёт к сбою при объединении эмбеддингов. Атрибуты можно найти в model.config.vision_config.patch_size или model.config.vision_feature_select_strategy.

Значение num_additional_image_tokens должно быть 1, если визуальный бэкбон добавляет токен CLS, или 0, если ничего дополнительного не добавляется.
Приведённый ниже пример демонстрирует инференс с несколькими входными изображениями.

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

Примечания

LlavaNextConfig

класс transformers.LlavaNextConfig

LlavaNextImageProcessor

класс transformers.LlavaNextImageProcessor

preprocess

LlavaNextImageProcessorPil

класс transformers.LlavaNextImageProcessorPil

preprocess

LlavaNextProcessor

класс transformers.LlavaNextProcessor

__call__

LlavaNextModel

класс transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

класс transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call