Эта модель была опубликована в HF papers 02.01.2023 и добавлена в Hugging Face Transformers 14.03.2023.

ConvNeXt V2

Обзор

Модель ConvNeXt V2 была предложена в статье ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders авторами Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, Saining Xie. ConvNeXt V2 — это чисто свёрточная модель (ConvNet), вдохновлённая архитектурой Vision Transformers, и преемник ConvNeXT.

Аннотация из статьи следующая:

Благодаря улучшенным архитектурам и более эффективным фреймворкам обучения представлений, область визуального распознавания переживает стремительную модернизацию и рост производительности в начале 2020-х годов. Например, современные ConvNets, представленные моделью ConvNeXt, демонстрируют высокую производительность в различных сценариях. Хотя эти модели изначально были разработаны для обучения с учителем с использованием меток ImageNet, они также могут извлекать выгоду из методов обучения без учителя, таких как маскированные автоэнкодеры (MAE). Однако мы обнаружили, что простое сочетание этих двух подходов приводит к неудовлетворительным результатам. В данной статье мы предлагаем полностью свёрточный фреймворк маскированного автоэнкодера и новый слой Global Response Normalization (GRN), который можно добавить в архитектуру ConvNeXt для усиления конкуренции признаков между каналами. Эта совместная разработка методов обучения без учителя и архитектурных улучшений привела к появлению нового семейства моделей — ConvNeXt V2, — которое значительно повышает производительность чистых ConvNets на различных бенчмарках распознавания, включая классификацию ImageNet, детекцию COCO и сегментацию ADE20K. Мы также предоставляем предобученные модели ConvNeXt V2 различных размеров: от эффективной модели Atto с 3,7 млн параметров и точностью top-1 76,7% на ImageNet до модели Huge с 650 млн параметров, достигающей рекордной точности 88,9% при использовании только публичных данных для обучения.

Эта модель была предоставлена adirik. Исходный код можно найти здесь.

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с ConvNeXt V2.

• ConvNextV2ForImageClassification поддерживается в этом ноутбуке.

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.

ConvNextV2Config

>>> from transformers import ConvNeXTV2Config, ConvNextV2Model

>>> # Initializing a ConvNeXTV2 convnextv2-tiny-1k-224 style configuration
>>> configuration = ConvNeXTV2Config()

>>> # Initializing a model (with random weights) from the convnextv2-tiny-1k-224 style configuration
>>> model = ConvNextV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ConvNextV2Model

ConvNextV2ForImageClassification

>>> from transformers import AutoImageProcessor, ConvNextV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/convnextv2-tiny-1k-224")
>>> model = ConvNextV2ForImageClassification.from_pretrained("facebook/convnextv2-tiny-1k-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...