FocalNetModel 的 forward 方法重写了 __call__ 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 Module 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者则会静默地忽略这些步骤。

• last_hidden_state（形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选）— 模型最后一层输出的隐藏状态序列。

• pooler_output（形状为 (batch_size, hidden_size) 的 torch.FloatTensor，可选，在传入 add_pooling_layer=True 时返回） — 最后一层隐藏状态的均值池化。

• hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.FloatTensor 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每一层输出的一个张量），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。

• reshaped_hidden_states（tuple(torch.FloatTensor)，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回）—— 一个 torch.FloatTensor 元组（包含嵌入层输出以及每个阶段的输出），形状为 (batch_size, hidden_size, height, width)。

  模型在每一层输出处的隐藏状态，以及重塑为包含空间维度的初始嵌入输出。

FocalNetForMaskedImageModeling 的 forward 方法重写了 __call__ 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 Module 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者则会静默地忽略这些步骤。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 bool_masked_pos 时返回) — 掩码图像建模（MLM）损失。

• 重建（形状为 (batch_size, num_channels, height, width) 的 torch.FloatTensor）— 重建的像素值。

• hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.FloatTensor 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每一层输出的一个张量），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。

• reshaped_hidden_states（tuple(torch.FloatTensor)，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回）—— 一个 torch.FloatTensor 元组（包含嵌入层输出以及每个阶段的输出），形状为 (batch_size, hidden_size, height, width)。

  模型在每一层输出处的隐藏状态，以及重塑为包含空间维度的初始嵌入输出。

>>> from transformers import AutoImageProcessor, FocalNetConfig, FocalNetForMaskedImageModeling
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/focalnet-base-simmim-window6-192")
>>> config = FocalNetConfig()
>>> model = FocalNetForMaskedImageModeling(config)

>>> num_patches = (model.config.image_size // model.config.patch_size) ** 2
>>> pixel_values = image_processor(images=image, return_tensors="pt").pixel_values
>>> # create random boolean mask of shape (batch_size, num_patches)
>>> bool_masked_pos = torch.randint(low=0, high=2, size=(1, num_patches)).bool()

>>> outputs = model(pixel_values, bool_masked_pos=bool_masked_pos)
>>> loss, reconstructed_pixel_values = outputs.loss, outputs.logits
>>> list(reconstructed_pixel_values.shape)
[1, 3, 192, 192]

FocalNetForImageClassification 的 forward 方法重写了 __call__ 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 Module 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者则会静默地忽略这些步骤。

• loss (torch.FloatTensor，形状为 (1,)，可选，当提供 labels 时返回) — 分类损失（如果 config.num_labels==1，则为回归损失）。

• logits（形状为 (batch_size, config.num_labels) 的 torch.FloatTensor）— 分类（或当 config.num_labels==1 时为回归）得分（SoftMax 之前）。

• hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.FloatTensor 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每一层输出的一个张量），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。

• reshaped_hidden_states（tuple(torch.FloatTensor)，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回）—— 一个 torch.FloatTensor 元组（包含嵌入层输出以及每个阶段的输出），形状为 (batch_size, hidden_size, height, width)。

  模型在每一层输出处的隐藏状态，以及重塑为包含空间维度的初始嵌入输出。

>>> from transformers import AutoImageProcessor, FocalNetForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/focalnet-tiny")
>>> model = FocalNetForImageClassification.from_pretrained("microsoft/focalnet-tiny")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...