# PP-OCRv6_medium_det

## Tổng quan

PP-OCRv6_medium_det là mô hình lớn nhất trong chuỗi phát hiện PP-OCRv6 do nhóm PaddleOCR phát triển. Nó sử dụng LCNetV4 làm backbone và RepLKFPN làm neck của pyramid đặc trưng, cung cấp khả năng định vị văn bản chính xác trong nhiều kịch bản đa dạng, bao gồm văn bản viết tay, in, xoay, cong và nghệ thuật bằng nhiều ngôn ngữ. Mô hình chứa 15,5 triệu tham số.

## Kiến trúc Mô hình

## Cách sử dụng

### Suy luận với một đầu vào

Ví dụ dưới đây minh họa cách phát hiện văn bản bằng PP-OCRv6_medium_det sử dụng [AutoModel](/docs/transformers/main/vi/model_doc/auto#transformers.AutoModel).

```python
from io import BytesIO

from huggingface_hub.utils import httpx
from PIL import Image
from transformers import AutoImageProcessor, AutoModelForObjectDetection
from transformers.image_utils import load_image

model_path = "PaddlePaddle/PP-OCRv6_medium_det_safetensors"
model = AutoModelForObjectDetection.from_pretrained(model_path, device_map="auto")
image_processor = AutoImageProcessor.from_pretrained(model_path)

image_url = "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/paddle_general_ocr_001.png"
image = load_image(image_url)
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)

results = image_processor.post_process_object_detection(
    outputs, 
    target_sizes=inputs["target_sizes"],
    threshold=0.2,
    box_threshold=0.45,
    max_candidates=3000,
    unclip_ratio=1.4,
)

for result in results:
    print(result)
```

### Suy luận theo lô

Dưới đây là cách bạn có thể thực hiện bằng PP-OCRv6_medium_det sử dụng [AutoModel](/docs/transformers/main/vi/model_doc/auto#transformers.AutoModel):

```python
from io import BytesIO

from huggingface_hub.utils import httpx
from PIL import Image
from transformers import AutoImageProcessor, AutoModelForObjectDetection
from transformers.image_utils import load_image

model_path = "PaddlePaddle/PP-OCRv6_medium_det_safetensors"
model = AutoModelForObjectDetection.from_pretrained(model_path, device_map="auto")
image_processor = AutoImageProcessor.from_pretrained(model_path)

image_url = "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/paddle_general_ocr_001.png"
image = load_image(image_url)
inputs = image_processor(images=[image, image], return_tensors="pt").to(model.device)
outputs = model(**inputs)

results = image_processor.post_process_object_detection(
    outputs, 
    target_sizes=inputs["target_sizes"],
    threshold=0.2,
    box_threshold=0.45,
    max_candidates=3000,
    unclip_ratio=1.4,
)

for result in results:
    print(result)
```

## PPOCRV6MediumDetForObjectDetection[[transformers.PPOCRV6MediumDetForObjectDetection]]

#### transformers.PPOCRV6MediumDetForObjectDetection[[transformers.PPOCRV6MediumDetForObjectDetection]]

```python
transformers.PPOCRV6MediumDetForObjectDetection(config: PPOCRV6MediumDetConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_ocrv6_medium_det/modeling_pp_ocrv6_medium_det.py#L363)

**Tham số:**

config ([PPOCRV6MediumDetConfig](/docs/transformers/main/vi/model_doc/pp_ocrv6_medium_det#transformers.PPOCRV6MediumDetConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình PPOCRV6MediumDet cho các tác vụ phát hiện văn bản.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

## PPOCRV6MediumDetConfig[[transformers.PPOCRV6MediumDetConfig]]

#### transformers.PPOCRV6MediumDetConfig[[transformers.PPOCRV6MediumDetConfig]]

```python
transformers.PPOCRV6MediumDetConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, id2label: dict[int, str] | dict[str, str] | None = None, interpolate_mode: str = 'nearest', backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, neck_out_channels: int = 256, reduce_factor: int = 2, intraclass_block_number: int = 4, intraclass_block_config: dict | None = None, scale_factor: int = 2, scale_factor_list: list | None = None, kernel_list: list | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_ocrv6_medium_det/configuration_pp_ocrv6_medium_det.py#L31)

**Tham số:**

id2label (`Union[dict[int, str], dict[str, str]]`, *tùy chọn*) : Bản đồ ánh xạ từ chỉ số (ví dụ chỉ số dự đoán, hoặc chỉ số đích) sang nhãn.

interpolate_mode (`str`, *tùy chọn*, mặc định là `"nearest"`) : Chế độ nội suy được sử dụng để tăng hoặc giảm mẫu các bản đồ đặc trưng trong mạng neck.

backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *tùy chọn*) : Cấu hình của mô hình backbone.

neck_out_channels (`int`, *tuỳ chọn*, mặc định là 256) : Số lượng kênh đầu ra từ mạng neck, chịu trách nhiệm kết hợp và tinh chỉnh đặc trưng.

reduce_factor (`int`, *optional*, mặc định là 2) : Hệ số giảm kênh được sử dụng trong các khối neck để cân bằng giữa hiệu suất và độ phức tạp.

intraclass_block_number (`int`, *optional*, mặc định là 4) : Số lượng module Intra-Class Block được sử dụng để tăng cường biểu diễn đặc trưng.

intraclass_block_config (`dict`, *tùy chọn*, mặc định là `None`) : Cấu hình cho các module Intra-Class Block, nếu có, được sử dụng để tăng cường biểu diễn đặc trưng.

scale_factor (`int`, *tuỳ chọn*, mặc định là 2) : Hệ số tỷ lệ được sử dụng để điều chỉnh độ phân giải không gian trong các bản đồ đặc trưng.

scale_factor_list (`list[int]`, *tùy chọn*, mặc định là `None`) : Một danh sách các hệ số tỷ lệ được sử dụng để điều chỉnh độ phân giải không gian trong các bản đồ đặc trưng.

kernel_list (`list[int]`, *optional*, mặc định là `[3, 2, 2]`) : Danh sách kích thước kernel cho các lớp tích chập trong mạng head để trích xuất đặc trưng đa tỷ lệ.

Đây là lớp cấu hình để lưu trữ cấu hình của một PPOCRV6MediumDetModel. Nó được sử dụng để khởi tạo một mô hình Pp Ocrv6 Medium Det theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [PaddlePaddle/PP-OCRv6_medium_det_safetensors](https://huggingface.co/PaddlePaddle/PP-OCRv6_medium_det_safetensors)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## PPOCRV6MediumDetModel[[transformers.PPOCRV6MediumDetModel]]

#### transformers.PPOCRV6MediumDetModel[[transformers.PPOCRV6MediumDetModel]]

```python
transformers.PPOCRV6MediumDetModel(config: PPOCRV6MediumDetConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_ocrv6_medium_det/modeling_pp_ocrv6_medium_det.py#L338)

**Tham số:**

config ([PPOCRV6MediumDetConfig](/docs/transformers/main/vi/model_doc/pp_ocrv6_medium_det#transformers.PPOCRV6MediumDetConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Pp Ocrv6 Medium Det cơ bản, xuất ra các hidden-states thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.PPOCRV6MediumDetModel.forward]]

```python
forward(pixel_values: Tensor, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pp_ocrv6_medium_det/modeling_pp_ocrv6_medium_det.py#L345)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng [PPOCRV5ServerDetImageProcessor](/docs/transformers/main/vi/model_doc/pp_ocrv5_server_det#transformers.PPOCRV5ServerDetImageProcessor). Xem [PPOCRV5ServerDetImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [PPOCRV5ServerDetImageProcessor](/docs/transformers/main/vi/model_doc/pp_ocrv5_server_det#transformers.PPOCRV5ServerDetImageProcessor) để xử lý ảnh).

**Trả về:** `BaseModelOutputWithNoAttention` hoặc `tuple(torch.Tensor)`

Một `BaseModelOutputWithNoAttention` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([PPOCRV6MediumDetConfig](/docs/transformers/main/vi/model_doc/pp_ocrv6_medium_det#transformers.PPOCRV6MediumDetConfig)) và đầu vào.

Phương thức forward của [PPOCRV6MediumDetModel](/docs/transformers/main/vi/model_doc/pp_ocrv6_medium_det#transformers.PPOCRV6MediumDetModel) ghi đè phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, num_channels, height, width)`) -- Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của mô hình.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, num_channels, height, width)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.