Предобработка изображения или пакета изображений.

Метод forward класса TimmWrapperModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

• last_hidden_state (torch.FloatTensor) — Состояние последнего скрытого слоя модели, выводимое до применения классификационной головы.
• pooler_output (torch.FloatTensor, optional) — Пул-вывод, полученный из последнего скрытого состояния, если применимо.
• hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если задано output_hidden_states=True или config.output_hidden_states=True) — кортеж, содержащий промежуточные скрытые состояния модели на выходе каждого слоя или указанных слоёв.
• attentions (tuple(torch.FloatTensor), необязательный, возвращается, если задано output_attentions=True или config.output_attentions=True.) — Кортеж, содержащий промежуточные веса внимания модели на выходе каждого слоя. Примечание: В настоящее время модели Timm не поддерживают вывод весов внимания.

>>> import torch
>>> from PIL import Image
>>> from urllib.request import urlopen
>>> from transformers import AutoModel, AutoImageProcessor

>>> # Load image
>>> image = Image.open(urlopen(
...     'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
... ))

>>> # Load model and image processor
>>> checkpoint = "timm/resnet50.a1_in1k"
>>> image_processor = AutoImageProcessor.from_pretrained(checkpoint)
>>> model = AutoModel.from_pretrained(checkpoint).eval()

>>> # Preprocess image
>>> inputs = image_processor(image)

>>> # Forward pass
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Get pooled output
>>> pooled_output = outputs.pooler_output

>>> # Get last hidden state
>>> last_hidden_state = outputs.last_hidden_state

Метод forward класса TimmWrapperForImageClassification переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

• loss (torch.FloatTensor формы (1,), необязательный, возвращается, если передан labels) — Потери классификации (или регрессии, если config.num_labels==1).

• logits (torch.FloatTensor формы (batch_size, config.num_labels)) — оценки для классификации (или регрессии, если config.num_labels==1) (до применения SoftMax).

• hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет такой слой, + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) модели на выходе каждого этапа.

• attentions (tuple(torch.FloatTensor), необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — кортеж torch.FloatTensor (по одному на каждый слой) формы (batch_size, num_heads, patch_size, sequence_length).

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

>>> import torch
>>> from PIL import Image
>>> from urllib.request import urlopen
>>> from transformers import AutoModelForImageClassification, AutoImageProcessor

>>> # Load image
>>> image = Image.open(urlopen(
...     'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
... ))

>>> # Load model and image processor
>>> checkpoint = "timm/resnet50.a1_in1k"
>>> image_processor = AutoImageProcessor.from_pretrained(checkpoint)
>>> model = AutoModelForImageClassification.from_pretrained(checkpoint).eval()

>>> # Preprocess image
>>> inputs = image_processor(image)

>>> # Forward pass
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # Get top 5 predictions
>>> top5_probabilities, top5_class_indices = torch.topk(logits.softmax(dim=1) * 100, k=5)