Model ini dipublikasikan di HF papers pada 2018-07-26 dan disumbangkan ke Hugging Face Transformers pada 2023-01-16.

UPerNet

Ikhtisar

Model UPerNet diusulkan dalam Unified Perceptual Parsing for Scene Understanding oleh Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, dan Jian Sun. UPerNet adalah kerangka kerja umum untuk melakukan segmentasi secara efektif pada berbagai konsep dari gambar, dengan memanfaatkan backbone visi apa pun seperti ConvNeXt atau Swin.

Abstrak dari makalah tersebut adalah sebagai berikut:

Manusia mengenali dunia visual pada beberapa tingkatan: kita dengan mudah mengategorikan adegan dan mendeteksi objek di dalamnya, sekaligus mengidentifikasi tekstur dan permukaan objek beserta bagian-bagian komposisional yang berbeda. Dalam makalah ini, kami mempelajari tugas baru yang disebut Unified Perceptual Parsing, yang mensyaratkan sistem visi mesin untuk mengenali sebanyak mungkin konsep visual dari sebuah gambar. Kerangka kerja multi-tugas bernama UPerNet dan strategi pelatihan dikembangkan untuk belajar dari anotasi gambar yang heterogen. Kami melakukan benchmark kerangka kerja kami pada Unified Perceptual Parsing dan menunjukkan bahwa kerangka kerja ini mampu melakukan segmentasi berbagai konsep dari gambar secara efektif. Jaringan yang telah dilatih kemudian diterapkan untuk menemukan pengetahuan visual dalam adegan alami.

Model ini disumbangkan oleh nielsr. Kode aslinya didasarkan pada mmsegmentation dari OpenMMLab di sini.

Contoh penggunaan

UPerNet adalah kerangka kerja umum untuk segmentasi semantik. Kerangka kerja ini dapat digunakan dengan backbone visi apa pun, seperti berikut:

from transformers import SwinConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = SwinConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

Untuk menggunakan backbone visi lain, seperti ConvNeXt, cukup instansiasi model dengan backbone yang sesuai:

from transformers import ConvNextConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = ConvNextConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

Perhatikan bahwa ini akan menginisialisasi secara acak semua bobot dari model.

Sumber daya

Daftar sumber resmi Hugging Face dan komunitas (ditandai dengan 🌎) untuk membantu Anda memulai dengan UPerNet.

• Notebook demo untuk UPerNet dapat ditemukan di sini.
• UperNetForSemanticSegmentation didukung oleh notebook ini.
• Lihat juga: Panduan tugas segmentasi semantik

Jika Anda tertarik untuk mengirimkan sumber daya agar disertakan di sini, silakan buka Pull Request dan kami akan meninjaunya! Sumber daya tersebut sebaiknya mendemonstrasikan sesuatu yang baru, bukan menduplikasi sumber daya yang sudah ada.

UperNetConfig

>>> from transformers import UperNetConfig, UperNetForSemanticSegmentation

>>> # Initializing a configuration
>>> configuration = UperNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = UperNetForSemanticSegmentation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

UperNetForSemanticSegmentation

>>> from transformers import AutoImageProcessor, UperNetForSemanticSegmentation
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download

>>> image_processor = AutoImageProcessor.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> model = UperNetForSemanticSegmentation.from_pretrained("openmmlab/upernet-convnext-tiny")

>>> filepath = hf_hub_download(
...     repo_id="hf-internal-testing/fixtures_ade20k", filename="ADE_val_00000001.jpg", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> logits = outputs.logits  # shape (batch_size, num_labels, height, width)
>>> list(logits.shape)
[1, 150, 512, 512]