Metode forward dari RTDetrV2Model menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

• last_hidden_state (torch.Tensor dengan bentuk (batch_size, num_queries, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir dari decoder model.

• intermediate_hidden_states (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, hidden_size)) — State tersembunyi antara yang ditumpuk (output dari setiap layer decoder).

• intermediate_logits (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — Logit perantara bertumpuk (logit dari setiap lapisan decoder).

• intermediate_reference_points (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, 4)) — Titik referensi antara yang ditumpuk (titik referensi dari setiap lapisan decoder).

• intermediate_predicted_corners (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, 4)) — Sudut prediksi antara yang ditumpuk (sudut prediksi dari setiap lapisan decoder).

• initial_reference_points (torch.Tensor dengan bentuk (batch_size, num_queries, 4)) — Titik referensi awal yang digunakan untuk lapisan decoder pertama.

• decoder_hidden_states (tuple[torch.Tensor], opsional, dikembalikan saat output_hidden_states=True dilewatkan atau saat config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

  Hidden-states dari decoder pada output setiap layer ditambah output embedding awal.

• decoder_attentions (tuple[torch.Tensor], opsional, dikembalikan ketika output_attentions=True dilewatkan atau ketika config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap lapisan) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

  Bobot perhatian dari decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

• cross_attentions (tuple[torch.Tensor], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

  Bobot perhatian dari lapisan cross-attention decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala cross-attention.

• encoder_last_hidden_state (torch.Tensor dengan bentuk (batch_size, sequence_length, hidden_size), opsional) — Urutan hidden-states pada keluaran lapisan terakhir dari encoder model.

• encoder_hidden_states (tuple[torch.Tensor], opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

  Hidden-states dari encoder pada output setiap layer ditambah output embedding awal.

• encoder_attentions (tuple[torch.Tensor], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

  Bobot perhatian dari encoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

• init_reference_points (torch.Tensor dengan bentuk (batch_size, num_queries, 4)) — Titik referensi awal yang dikirim melalui decoder Transformer.

• enc_topk_logits (torch.Tensor dengan bentuk (batch_size, sequence_length, config.num_labels)) — Skor kotak pembatas yang diprediksi, di mana config.two_stage_num_proposals kotak pembatas dengan skor tertinggi dipilih sebagai usulan wilayah pada tahap encoder. Output dari klasifikasi biner kotak pembatas (yaitu latar depan dan latar belakang).

• enc_topk_bboxes (torch.Tensor dengan bentuk (batch_size, sequence_length, 4)) — Logits dari koordinat kotak pembatas yang diprediksi pada tahap encoder.

• enc_outputs_class (torch.Tensor dengan bentuk (batch_size, sequence_length, config.num_labels), opsional, dikembalikan ketika config.with_box_refine=True dan config.two_stage=True) — Skor kotak pembatas yang diprediksi, di mana config.two_stage_num_proposals kotak pembatas dengan skor tertinggi dipilih sebagai usulan wilayah pada tahap pertama. Output dari klasifikasi biner kotak pembatas (yaitu latar depan dan latar belakang).

• enc_outputs_coord_logits (torch.Tensor dengan bentuk (batch_size, sequence_length, 4), opsional, dikembalikan ketika config.with_box_refine=True dan config.two_stage=True) — Logits dari koordinat kotak pembatas (bounding box) yang diprediksi pada tahap pertama.

• denoising_meta_values (dict, opsional) — Kamus tambahan untuk nilai-nilai yang terkait dengan denoising.

>>> from transformers import AutoImageProcessor, RTDetrV2Model
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2Model.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

Metode forward dari RTDetrV2ForObjectDetection menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

• loss (torch.Tensor dengan bentuk (1,), opsional, dikembalikan saat labels disediakan)) — Total loss sebagai kombinasi linear dari negative log-likelihood (cross-entropy) untuk prediksi kelas dan loss bounding box. Yang terakhir didefinisikan sebagai kombinasi linear dari L1 loss dan generalized scale-invariant IoU loss.

• loss_dict (Dict, opsional) — Kamus yang berisi kerugian individual. Berguna untuk pencatatan.

• logits (torch.Tensor dengan bentuk (batch_size, num_queries, num_classes + 1)) — Logit klasifikasi (termasuk no-object) untuk semua query.

• pred_boxes (torch.Tensor dengan bentuk (batch_size, num_queries, 4)) — Koordinat kotak yang dinormalisasi untuk semua query, direpresentasikan sebagai (center_x, center_y, width, height). Nilai-nilai ini dinormalisasi dalam rentang [0, 1], relatif terhadap ukuran masing-masing gambar individual dalam batch (mengabaikan padding yang mungkin ada). Anda dapat menggunakan ~RTDetrV2ImageProcessor.post_process_object_detection untuk mengambil kotak pembatas yang tidak dinormalisasi (absolut).

• auxiliary_outputs (list[Dict], opsional) — Opsional, hanya dikembalikan ketika auxiliary losses diaktifkan (yaitu config.auxiliary_loss diatur ke True) dan label disediakan. Ini adalah daftar kamus yang berisi dua kunci di atas (logits dan pred_boxes) untuk setiap lapisan decoder.

• last_hidden_state (torch.Tensor dengan bentuk (batch_size, num_queries, hidden_size)) — Urutan hidden-states pada keluaran lapisan terakhir dari decoder model.

• intermediate_hidden_states (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, hidden_size)) — State tersembunyi antara yang ditumpuk (output dari setiap layer decoder).

• intermediate_logits (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, config.num_labels)) — Logit perantara bertumpuk (logit dari setiap lapisan decoder).

• intermediate_reference_points (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, 4)) — Titik referensi antara yang ditumpuk (titik referensi dari setiap lapisan decoder).

• intermediate_predicted_corners (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, 4)) — Sudut prediksi antara yang ditumpuk (sudut prediksi dari setiap lapisan decoder).

• initial_reference_points (torch.Tensor dengan bentuk (batch_size, config.decoder_layers, num_queries, 4)) — Titik referensi awal yang ditumpuk (titik referensi awal dari setiap lapisan decoder).

• decoder_hidden_states (tuple[torch.Tensor], opsional, dikembalikan saat output_hidden_states=True dilewatkan atau saat config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

  Hidden-states dari decoder pada output setiap layer ditambah output embedding awal.

• decoder_attentions (tuple[torch.Tensor], opsional, dikembalikan ketika output_attentions=True dilewatkan atau ketika config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap lapisan) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

  Bobot perhatian dari decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

• cross_attentions (tuple[torch.Tensor], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

  Bobot perhatian dari lapisan cross-attention decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala cross-attention.

• encoder_last_hidden_state (torch.Tensor dengan bentuk (batch_size, sequence_length, hidden_size), opsional) — Urutan hidden-states pada keluaran lapisan terakhir dari encoder model.

• encoder_hidden_states (tuple[torch.Tensor], opsional, dikembalikan ketika output_hidden_states=True dilewatkan atau ketika config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

  Hidden-states dari encoder pada output setiap layer ditambah output embedding awal.

• encoder_attentions (tuple[torch.Tensor], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

  Bobot perhatian dari encoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

• init_reference_points (torch.Tensor dengan bentuk (batch_size, num_queries, 4)) — Titik referensi awal yang dikirim melalui decoder Transformer.

• enc_topk_logits (torch.Tensor dengan bentuk (batch_size, sequence_length, config.num_labels), opsional, dikembalikan ketika config.with_box_refine=True dan config.two_stage=True) — Logits dari koordinat bounding box yang diprediksi di encoder.

• enc_topk_bboxes (torch.Tensor dengan bentuk (batch_size, sequence_length, 4), opsional, dikembalikan ketika config.with_box_refine=True dan config.two_stage=True) — Logits dari koordinat bounding box yang diprediksi di encoder.

• enc_outputs_class (torch.Tensor dengan bentuk (batch_size, sequence_length, config.num_labels), opsional, dikembalikan ketika config.with_box_refine=True dan config.two_stage=True) — Skor kotak pembatas yang diprediksi, di mana config.two_stage_num_proposals kotak pembatas dengan skor tertinggi dipilih sebagai usulan wilayah pada tahap pertama. Output dari klasifikasi biner kotak pembatas (yaitu latar depan dan latar belakang).

• enc_outputs_coord_logits (torch.Tensor dengan bentuk (batch_size, sequence_length, 4), opsional, dikembalikan ketika config.with_box_refine=True dan config.two_stage=True) — Logits dari koordinat kotak pembatas (bounding box) yang diprediksi pada tahap pertama.

• denoising_meta_values (dict, opsional) — Kamus tambahan untuk nilai-nilai yang terkait dengan denoising

>>> from transformers import RTDetrV2ImageProcessor, RTDetrV2ForObjectDetection
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = RTDetrV2ImageProcessor.from_pretrained("PekingU/RTDetrV2_r50vd")
>>> model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/RTDetrV2_r50vd")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)[
...     0
... ]

>>> for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected sofa with confidence 0.97 at location [0.14, 0.38, 640.13, 476.21]
Detected cat with confidence 0.96 at location [343.38, 24.28, 640.14, 371.5]
Detected cat with confidence 0.958 at location [13.23, 54.18, 318.98, 472.22]
Detected remote with confidence 0.951 at location [40.11, 73.44, 175.96, 118.48]
Detected remote with confidence 0.924 at location [333.73, 76.58, 369.97, 186.99]