Hugging Face's logo

Transformers documentation

Mask2Former

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была опубликована в HF papers 02.12.2021 и добавлена в Hugging Face Transformers 16.01.2023.

Mask2Former

Обзор

Модель Mask2Former была предложена в работе Masked-attention Mask Transformer for Universal Image Segmentation авторами Bowen Cheng, Ishan Misra, Alexander G. Schwing, Alexander Kirillov, Rohit Girdhar. Mask2Former представляет собой единый фреймворк для паноптической, инстантной и семантической сегментации и демонстрирует значительное повышение производительности и эффективности по сравнению с MaskFormer.

Аннотация из статьи следующая:

Сегментация изображений группирует пиксели с разной семантикой, например, по принадлежности к категории или экземпляру. Каждый выбор семантики определяет задачу. Хотя различаются только семантики задач, современные исследования сосредоточены на проектировании специализированных архитектур для каждой из них. Мы представляем Masked-attention Mask Transformer (Mask2Former) — новую архитектуру, способную решать любую задачу сегментации изображений (паноптическую, по экземплярам или семантическую). Ключевые компоненты включают masked attention, который извлекает локализованные признаки, ограничивая cross-attention внутри предсказанных областей масок. Помимо сокращения исследовательских затрат как минимум в три раза, эта архитектура значительно превосходит лучшие специализированные архитектуры на четырёх популярных наборах данных. В частности, Mask2Former устанавливает новый state-of-the-art для паноптической сегментации (57.8 PQ на COCO), сегментации по экземплярам (50.1 AP на COCO) и семантической сегментации (57.7 mIoU на ADE20K).

drawing Mask2Former architecture. Taken from the original paper.

Эта модель была предоставлена Shivalika Singh и Alara Dirik. Исходный код можно найти здесь.

Советы по использованию

  • Mask2Former использует те же этапы предобработки и постобработки, что и MaskFormer. Используйте Mask2FormerImageProcessor или AutoImageProcessor для подготовки изображений и необязательных целевых данных для модели.
  • Чтобы получить итоговую сегментацию, в зависимости от задачи можно вызвать post_process_semantic_segmentation() или post_process_instance_segmentation() или post_process_panoptic_segmentation(). Все три задачи можно решить с помощью вывода Mask2FormerForUniversalSegmentation; для паноптической сегментации предусмотрен необязательный аргумент label_ids_to_fuse, позволяющий объединять экземпляры целевого объекта/объектов (например, неба).

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с Mask2Former.

  • Демо-ноутбуки по инференсу и дообучению Mask2Former на собственных данных можно найти здесь.

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим. В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже существующий.

Mask2FormerConfig

класс transformers.Mask2FormerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefeature_size: int = 256mask_feature_size: int = 256hidden_dim: int = 256encoder_feedforward_dim: int = 1024activation_function: str = 'relu'encoder_layers: int = 6decoder_layers: int = 10num_attention_heads: int = 8dropout: float | int = 0.0dim_feedforward: int = 2048pre_norm: bool = Falseenforce_input_projection: bool = Falsecommon_stride: int = 4ignore_value: int = 255num_queries: int = 100no_object_weight: float = 0.1class_weight: float = 2.0mask_weight: float = 5.0dice_weight: float = 5.0train_num_points: int = 12544oversample_ratio: float = 3.0importance_sample_ratio: float = 0.75init_std: float = 0.02init_xavier_std: float = 1.0use_auxiliary_loss: bool = Truefeature_strides: list[int] | tuple[int, ...] = (4, 8, 16, 32)output_auxiliary_logits: bool | None = None )

Параметры

  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Конфигурация модели-бэкбона.
  • feature_size (int, необязательный, по умолчанию 256) — Количество признаков (каналов) в получаемых картах признаков.
  • mask_feature_size (int, необязательный, по умолчанию 256) — Размер признаков масок; это значение также используется для указания размера признаков Feature Pyramid Network.
  • hidden_dim (int, необязательный, по умолчанию 256) — Размерность скрытых представлений.
  • encoder_feedforward_dim (int, необязательный, по умолчанию 1024) — Размерность полносвязной сети для энкодера deformable detr, используемого в составе пиксельного декодера.
  • activation_function (str, необязательный, по умолчанию relu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
  • encoder_layers (int, необязательный, по умолчанию 6) — Количество скрытых слоев в кодере Transformer. Если не задано, используется то же значение, что и у num_layers.
  • decoder_layers (int, необязательный, по умолчанию 10) — Количество скрытых слоев в декодере Transformer. Если не задано, используется то же значение, что и у num_layers.
  • num_attention_heads (int, необязательный, по умолчанию 8) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент для всех слоёв dropout.
  • dim_feedforward (int, необязательный, по умолчанию 2048) — Размерность признаков в полносвязной сети декодера трансформера.
  • pre_norm (bool, необязательный, по умолчанию False) — Использовать ли pre-LayerNorm в декодере трансформера.
  • enforce_input_projection (bool, необязательный, по умолчанию False) — Указывает, следует ли добавлять входную свёртку 1x1, даже если количество входных каналов и размерность скрытого слоя совпадают в декодере Transformer.
  • common_stride (int, необязательный, по умолчанию 4) — Параметр, используемый для определения количества уровней FPN, применяемых в составе пиксельного декодера.
  • ignore_value (int, необязательный, по умолчанию 255) — Идентификатор категории, который игнорируется во время обучения.
  • num_queries (int, необязательный, по умолчанию 100) — Количество запросов для декодера.
  • no_object_weight (float, необязательный, по умолчанию 0.1) — Относительный вес класса «объект отсутствует» в функции потерь обнаружения объектов.
  • class_weight (float, необязательный, по умолчанию 2.0) — Относительный вес ошибки классификации в стоимости венгерского сопоставления.
  • mask_weight (float, необязательный, по умолчанию 5.0) — Относительный вес фокальной функции потерь в функции потерь паноптической сегментации.
  • dice_weight (float, необязательный, по умолчанию 5.0) — Относительный вес функции потерь dice в функции потерь паноптической сегментации.
  • train_num_points (str или function, необязательный, по умолчанию 12544) — Количество точек, используемых для выборки при вычислении функции потерь.
  • oversample_ratio (float, необязательный, по умолчанию 3.0) — Параметр оверсэмплинга, используемый для расчёта количества выбранных точек
  • importance_sample_ratio (float, необязательный, по умолчанию 0.75) — Доля точек, отбираемых методом importance sampling.
  • init_std (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.
  • init_xavier_std (float, необязательный, по умолчанию 1.0) — Коэффициент масштабирования, используемый для инициализации кросс-внимания по методу Ксавье.
  • use_auxiliary_loss (bool, необязательный, по умолчанию True) — Определяет, следует ли вычислять потерю с использованием промежуточных предсказаний декодера transformer.
  • feature_strides (list[int], необязательный, по умолчанию [4, 8, 16, 32]) — Шаги признаков, соответствующие признакам, сгенерированным базовой сетью.
  • output_auxiliary_logits (bool, необязательный) — Указывает, должен ли модель выводить auxiliary_logits.

Это класс конфигурации для хранения настроек модели Mask2FormerModel. Он используется для создания модели Mask2Former в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели facebook/mask2former-swin-small-coco-instance

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Примеры:

>>> from transformers import Mask2FormerConfig, Mask2FormerModel

>>> # Initializing a Mask2Former facebook/mask2former-swin-small-coco-instance configuration
>>> configuration = Mask2FormerConfig()

>>> # Initializing a model (with random weights) from the facebook/mask2former-swin-small-coco-instance style configuration
>>> model = Mask2FormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Специфические для MaskFormer выходные данные

класс transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput

< >

( encoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonepixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonetransformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor] | None = Nonepixel_decoder_hidden_states: tuple[torch.Tensor] | None = Nonetransformer_decoder_hidden_states: tuple[torch.Tensor] | None = Nonetransformer_decoder_intermediate_states: tuple[torch.Tensor] | None = Nonemasks_queries_logits: tuple[torch.Tensor] | None = Noneattentions: tuple[torch.Tensor] | None = None )

Параметры

  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width), необязательный) — Последние скрытые состояния (финальная карта признаков) последней стадии модели-энкодера (backbone). Возвращается при передаче output_hidden_states=True.
  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width), необязательный) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера.
  • transformer_decoder_last_hidden_state (tuple(torch.Tensor)) — Итоговый вывод декодера трансформера (batch_size, sequence_length, hidden_size).
  • encoder_hidden_states (tuple(torch.Tensor), необязательный) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-кодировщика на выходе каждого этапа. Возвращается, если передан параметр output_hidden_states=True.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), , необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа. Возвращается при передаче output_hidden_states=True.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), optional) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) с формой (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа. Возвращается, если передан output_hidden_states=True.
  • transformer_decoder_intermediate_states (tuple(torch.Tensor) формы (num_queries, 1, hidden_size)) — Промежуточные активации декодера, то есть выход каждого слоя декодера, каждый из которых прошёл через layernorm.
  • masks_queries_logits (tuple(torch.Tensor) формы (batch_size, num_queries, height, width)) — Прогнозы масок из каждого слоя декодера трансформера.
  • attentions (tuple(tuple(torch.Tensor)), необязательный, возвращается при передаче output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса само-внимания из декодера трансформера.
  • attentions (tuple[torch.Tensor], необязательный, возвращается, если output_attentions=True передан или если config.output_attentions=True) — Кортеж torch.Tensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Класс для выходов Mask2FormerModel. Этот класс возвращает все необходимые скрытые состояния для вычисления логитов.

класс transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput

< >

( loss: typing.Optional[torch.Tensor] = Noneclass_queries_logits: typing.Optional[torch.Tensor] = Nonemasks_queries_logits: typing.Optional[torch.Tensor] = Noneauxiliary_logits: list[dict[str, torch.Tensor]] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonepixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Nonetransformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor] | None = Nonepixel_decoder_hidden_states: tuple[torch.Tensor] | None = Nonetransformer_decoder_hidden_states: typing.Optional[torch.Tensor] = Noneattentions: tuple[torch.Tensor] | None = None )

Параметры

  • loss (torch.Tensor, необязательный) — Вычисленная величина потерь, возвращается при наличии меток.
  • class_queries_logits (torch.Tensor, необязательный) — Тензор формы (batch_size, num_queries, num_labels + 1), представляющий предложенные классы для каждого запроса. Обратите внимание, что + 1 необходимо, так как мы учитываем нулевой класс.
  • masks_queries_logits (torch.Tensor, необязательный) — Тензор формы (batch_size, num_queries, height, width), представляющий предложенные маски для каждого запроса.
  • auxiliary_logits (list[Dict(str, torch.Tensor)], необязательный) — Список предсказаний классов и масок от каждого слоя декодера трансформера.
  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели-энкодера (backbone).
  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера.
  • transformer_decoder_last_hidden_state (tuple(torch.Tensor)) — Итоговый вывод декодера трансформера (batch_size, sequence_length, hidden_size).
  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-кодировщика на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
  • attentions (tuple(tuple(torch.Tensor)), необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса Self и Cross Attention из декодера трансформера.

Класс для выходов Mask2FormerForUniversalSegmentationOutput.

Этот вывод можно непосредственно передать в post_process_semantic_segmentation() или post_process_instance_segmentation() или post_process_panoptic_segmentation() для вычисления итоговых карт сегментации. Подробности об использовании см. в документации к [`~Mask2FormerImageProcessor].

Mask2FormerModel

класс transformers.Mask2FormerModel

< >

( config: Mask2FormerConfig )

Параметры

  • config (Mask2FormerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель Mask2Former без дополнительных компонентов, выводящая необработанные скрытые состояния без какого-либо специализированного слоя наверху.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values: Tensorpixel_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → Mask2FormerModelOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью Mask2FormerImageProcessor. Подробности см. в Mask2FormerImageProcessor.call() (processor_class использует Mask2FormerImageProcessor для обработки изображений).
  • pixel_mask (torch.Tensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • output_hidden_states (bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описании hidden_states среди возвращаемых тензоров.
  • output_attentions (bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описании attentions в разделе возвращаемых тензоров.
  • return_dict (bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.

Возвращает

Mask2FormerModelOutput или tuple(torch.Tensor)

Объект Mask2FormerModelOutput или кортеж torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (Mask2FormerConfig) и входных данных.

Метод forward модели Mask2FormerModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width), необязательный) — Состояния последнего скрытого слоя (конечная карта признаков) последней стадии модели-энкодера (backbone). Возвращается при передаче output_hidden_states=True.

  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width), необязательный) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера.

  • transformer_decoder_last_hidden_state (tuple(torch.Tensor)) — Итоговый вывод декодера трансформера (batch_size, sequence_length, hidden_size).

  • encoder_hidden_states (tuple(torch.Tensor), optional) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа. Возвращается, если передан output_hidden_states=True.

  • pixel_decoder_hidden_states (tuple(torch.Tensor), , необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа. Возвращается при передаче output_hidden_states=True.

  • transformer_decoder_hidden_states (tuple(torch.Tensor), optional) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) с формой (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа. Возвращается при передаче output_hidden_states=True.

  • transformer_decoder_intermediate_states (tuple(torch.Tensor) формы (num_queries, 1, hidden_size)) — Промежуточные активации декодера, то есть выход каждого слоя декодера, каждый из которых прошёл через layernorm.

  • masks_queries_logits (tuple(torch.Tensor) формы (batch_size, num_queries, height, width)) Прогнозы масок из каждого слоя декодера трансформера. attentions (tuple(tuple(torch.Tensor)), необязательный, возвращается при передаче output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса само-внимания из декодера трансформера.

  • attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Mask2FormerForUniversalSegmentation

класс transformers.Mask2FormerForUniversalSegmentation

< >

( config: Mask2FormerConfig )

Параметры

  • config (Mask2FormerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель Mask2Former с головками для сегментации по экземплярам, семантической и паноптической сегментации.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values: Tensormask_labels: list[torch.Tensor] | None = Noneclass_labels: list[torch.Tensor] | None = Nonepixel_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_auxiliary_logits: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → Mask2FormerForUniversalSegmentationOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью Mask2FormerImageProcessor. Подробности см. в Mask2FormerImageProcessor.call() (processor_class использует Mask2FormerImageProcessor для обработки изображений).
  • mask_labels (list[torch.Tensor], необязательный) — Список меток маски формы (num_labels, height, width), передаваемых в модель
  • class_labels (list[torch.LongTensor], необязательный) — список целевых меток классов формы (num_labels, height, width), передаваемых в модель. Они указывают метки для mask_labels, например, метка для mask_labels[i][j], если class_labels[i][j].
  • pixel_mask (torch.Tensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • output_hidden_states (bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описании hidden_states среди возвращаемых тензоров.
  • output_auxiliary_logits (bool, необязательный) — Включает ли вывод вспомогательных логитов.
  • output_attentions (bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описании attentions в разделе возвращаемых тензоров.
  • return_dict (bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.

Возвращает

Mask2FormerForUniversalSegmentationOutput или tuple(torch.Tensor)

Объект Mask2FormerForUniversalSegmentationOutput или кортеж torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (Mask2FormerConfig) и входных данных.

Метод forward класса Mask2FormerForUniversalSegmentation переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • loss (torch.Tensor, необязательный) — вычисленная функция потерь, возвращается при наличии меток.
  • class_queries_logits (torch.Tensor, optional) — тензор формы (batch_size, num_queries, num_labels + 1), представляющий предложенные классы для каждого запроса. Обратите внимание, что + 1 необходимо, так как мы учитываем нулевой класс.
  • masks_queries_logits (torch.Tensor, необязательный) — тензор формы (batch_size, num_queries, height, width), представляющий предложенные маски для каждого запроса.
  • auxiliary_logits (list[Dict(str, torch.Tensor)], необязательный) — Список предсказаний классов и масок от каждого слоя декодера трансформера.
  • encoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Состояния последнего скрытого слоя (финальная карта признаков) последней стадии модели-энкодера (backbone).
  • pixel_decoder_last_hidden_state (torch.Tensor формы (batch_size, num_channels, height, width)) — Последние скрытые состояния (финальная карта признаков) последней стадии модели пиксельного декодера.
  • transformer_decoder_last_hidden_state (tuple(torch.Tensor)) — Итоговый вывод декодера трансформера (batch_size, sequence_length, hidden_size).
  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) с формой (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждой стадии) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждой стадии.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
  • attentions (tuple(tuple(torch.Tensor)), optional, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса Self и Cross Attention из декодера трансформера.

Примеры:

Пример сегментации экземпляров:

>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on COCO instance segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-coco-instance")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
...     "facebook/mask2former-swin-small-coco-instance"
... )

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get instance segmentation map
>>> pred_instance_map = image_processor.post_process_instance_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_instance_map.shape)
torch.Size([480, 640])

Пример семантической сегментации:

>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on ADE20k semantic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-ade-semantic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained("facebook/mask2former-swin-small-ade-semantic")

>>> url = (
...     "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get semantic segmentation map
>>> pred_semantic_map = image_processor.post_process_semantic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_semantic_map.shape)
torch.Size([512, 683])

Пример паноптической сегментации:

>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on CityScapes panoptic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-cityscapes-panoptic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
...     "facebook/mask2former-swin-small-cityscapes-panoptic"
... )

>>> url = "/static-proxy?url=https%3A%2F%2Fcdn-media.huggingface.co%2FInference-API%2FSample-results-on-the-Cityscapes-dataset-The-above-images-show-how-our-method-can-handle.png%26quot%3B%3C%2Fspan%3E
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get panoptic segmentation map
>>> pred_panoptic_map = image_processor.post_process_panoptic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> print(pred_panoptic_map.shape)
torch.Size([338, 676])

Mask2FormerImageProcessor

класс transformers.Mask2FormerImageProcessor

< >

( **kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'> )

Параметры

  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional, по умолчанию True) — Указывает, нужно ли изменять размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию {'shortest_edge' -- 800, 'longest_edge': 1333}): Определяет максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional, по умолчанию False) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию 2) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли выполнять рескейлинг изображения.
  • rescale_factor (float, kwargs, optional, по умолчанию 0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.485, 0.456, 0.406]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.229, 0.224, 0.225]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (SizeDict, kwargs, optional) — Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображений, переданного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • ignore_index (int, kwargs, optional) — Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на ignore_index.
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в число всех классов набора (например, ADE20k). Метка фона будет заменена на ignore_index.
  • num_labels (int, kwargs, optional) — Количество меток в карте сегментации.
  • size_divisor (int, kwargs, optional, по умолчанию 32) — Некоторые backbones требуют, чтобы размеры изображений делились на определённое число. Если параметр не передан, используется значение, применяемое в Swin Transformer.

Создаёт процессор изображений Mask2FormerImageProcessor.

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
  • segmentation_maps (ImageInput, необязательный) — Сегментационные карты.
  • instance_id_to_semantic_id (Union[list[dict[int, int]], dict[int, int]], необязательный) — Сопоставление идентификаторов экземпляров с семантическими идентификаторами.
  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
  • rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (SizeDict, kwargs, optional) — Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображений, переданного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • ignore_index (int, kwargs, optional) — Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на ignore_index.
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в число всех классов набора (например, ADE20k). Метка фона будет заменена на ignore_index.
  • num_labels (int, kwargs, optional) — Количество меток в карте сегментации.
  • size_divisor (int, kwargs, optional, по умолчанию 32) — Некоторые backbones требуют, чтобы размеры изображений делились на определённое число. Если параметр не передан, используется значение, применяемое в Swin Transformer.

Возвращает

~image_processing_base.BatchFeature

  • data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

post_process_semantic_segmentation

< >

( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Параметры

  • outputs (Mask2FormerForUniversalSegmentation) — Сырые выходные данные модели.
  • target_sizes (list[tuple[int, int]], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_segmentation_scores (bool, необязательный, по умолчанию False) — Определяет, следует ли возвращать оценки сегментации вместе с картой сегментации. Если True, каждый элемент возвращаемого списка представляет собой SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)).

Возвращает

list[torch.Tensor] или list[SemanticSegmentationPostProcessorOutput]

Если return_segmentation_scores=False (по умолчанию), возвращается список длины batch_size, где каждый элемент — это карта сегментации формы (height, width) с идентификаторами классов. Если return_segmentation_scores=True, возвращается список объектов SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)). В обоих случаях (height, width) соответствует целевому размеру (если указан target_sizes).

Преобразует выход Mask2FormerForUniversalSegmentation в карты семантической сегментации. Поддерживается только PyTorch.

post_process_instance_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = Falsereturn_binary_maps: bool | None = False ) → List[Dict]

Параметры

  • outputs (Mask2FormerForUniversalSegmentation) — Сырые выходные данные модели.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • target_sizes (List[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_coco_annotation (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в формате COCO run-length encoding (RLE).
  • return_binary_maps (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в виде конкатенированного тензора бинарных карт сегментации (по одной на каждый обнаруженный объект).

Возвращает

List[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), где каждый пиксель представляет segment_id, или List[List] — кодирование с повторами (RLE) карты сегментации, если return_coco_annotation установлено в True, или тензор формы (num_instances, height, width), если return_binary_maps установлено в True. Устанавливается в None, если маска не найдена выше threshold.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод Mask2FormerForUniversalSegmentationOutput в предсказания сегментации объектов. Поддерживается только PyTorch. Если объекты могут пересекаться, установите return_coco_annotation или return_binary_maps в True, чтобы получить корректный результат сегментации.

post_process_panoptic_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → List[Dict]

Параметры

  • outputs (Mask2FormerForUniversalSegmentationOutput) — Результаты работы Mask2FormerForUniversalSegmentation.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • label_ids_to_fuse (Set[int], необязательный) — Все экземпляры меток из этого состояния будут объединены в один. Например, можно указать, что на изображении может быть только одно небо, но несколько человек, тогда ID метки «небо» будет включён в этот набор, а ID метки «человек» — нет.
  • target_sizes (List[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

Возвращает

List[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод Mask2FormerForUniversalSegmentationOutput в предсказания панорамной сегментации изображений. Поддерживается только PyTorch.

Mask2FormerImageProcessorPil

класс transformers.Mask2FormerImageProcessorPil

< >

( **kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'> )

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
  • segmentation_maps (ImageInput, необязательный) — Сегментационные карты.
  • instance_id_to_semantic_id (Union[list[dict[int, int]], dict[int, int]], необязательный) — Сопоставление идентификаторов экземпляров с семантическими идентификаторами.
  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
  • rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (SizeDict, kwargs, optional) — Размер, до которого следует дополнить изображения. Должен быть больше любого размера изображений, переданного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • ignore_index (int, kwargs, optional) — Метка, назначаемая фоновым пикселям в сегментационных картах. Если указано, пиксели сегментационной карты, обозначенные как 0 (фон), будут заменены на ignore_index.
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток в сегментационных картах на 1. Обычно используется для наборов данных, где 0 обозначает фон, а сам фон не входит в число всех классов набора (например, ADE20k). Метка фона будет заменена на ignore_index.
  • num_labels (int, kwargs, optional) — Количество меток в карте сегментации.
  • size_divisor (int, kwargs, optional, по умолчанию 32) — Некоторые backbones требуют, чтобы размеры изображений делились на определённое число. Если параметр не передан, используется значение, применяемое в Swin Transformer.

Возвращает

~image_processing_base.BatchFeature

  • data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

post_process_semantic_segmentation

< >

( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Параметры

  • outputs (Mask2FormerForUniversalSegmentation) — Сырые выходные данные модели.
  • target_sizes (list[tuple[int, int]], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_segmentation_scores (bool, необязательный, по умолчанию False) — Определяет, следует ли возвращать оценки сегментации вместе с картой сегментации. Если True, каждый элемент возвращаемого списка представляет собой SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)).

Возвращает

list[torch.Tensor] или list[SemanticSegmentationPostProcessorOutput]

Если return_segmentation_scores=False (по умолчанию), возвращается список длины batch_size, где каждый элемент — это карта сегментации формы (height, width) с идентификаторами классов. Если return_segmentation_scores=True, возвращается список объектов SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)). В обоих случаях (height, width) соответствует целевому размеру (если указан target_sizes).

Преобразует выход Mask2FormerForUniversalSegmentation в карты семантической сегментации. Поддерживается только PyTorch.

post_process_instance_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = Falsereturn_binary_maps: bool | None = False ) → List[Dict]

Параметры

  • outputs (Mask2FormerForUniversalSegmentation) — Сырые выходные данные модели.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • target_sizes (List[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут масштабироваться.
  • return_coco_annotation (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в формате COCO run-length encoding (RLE).
  • return_binary_maps (bool, необязательный, по умолчанию False) — Если установлено в True, карты сегментации возвращаются в виде конкатенированного тензора бинарных карт сегментации (по одной на каждый обнаруженный объект).

Возвращает

List[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), где каждый пиксель представляет segment_id, или List[List] — кодирование с повторами (RLE) карты сегментации, если return_coco_annotation установлено в True, или тензор формы (num_instances, height, width), если return_binary_maps установлено в True. Устанавливается в None, если маска не найдена выше threshold.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод Mask2FormerForUniversalSegmentationOutput в предсказания сегментации объектов. Поддерживается только PyTorch. Если объекты могут пересекаться, установите return_coco_annotation или return_binary_maps в True, чтобы получить корректный результат сегментации.

post_process_panoptic_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → List[Dict]

Параметры

  • outputs (Mask2FormerForUniversalSegmentationOutput) — Результаты работы Mask2FormerForUniversalSegmentation.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • label_ids_to_fuse (Set[int], необязательный) — Все экземпляры меток из этого состояния будут объединены в один. Например, можно указать, что на изображении может быть только одно небо, но несколько человек, тогда ID метки «небо» будет включён в этот набор, а ID метки «человек» — нет.
  • target_sizes (List[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.

Возвращает

List[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод Mask2FormerForUniversalSegmentationOutput в предсказания панорамной сегментации изображений. Поддерживается только PyTorch.

Update on GitHub

←LW-DETR MaskFormer→