Hugging Face's logo

Transformers documentation

NLLB-MOE

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình này được công bố trên HF papers vào ngày 2022-07-11 và được đóng góp cho Hugging Face Transformers vào ngày 2023-03-27.

NLLB-MOE

Tổng quan

Mô hình NLLB được giới thiệu trong No Language Left Behind: Scaling Human-Centered Machine Translation của Marta R. Costa-jussà, James Cross, Onur Çelebi, Maha Elbayad, Kenneth Heafield, Kevin Heffernan, Elahe Kalbassi, Janice Lam, Daniel Licht, Jean Maillard, Anna Sun, Skyler Wang, Guillaume Wenzek, Al Youngblood, Bapi Akula, Loic Barrault, Gabriel Mejia Gonzalez, Prangthip Hansanti, John Hoffman, Semarley Jarrett, Kaushik Ram Sadagopan, Dirk Rowe, Shannon Spruit, Chau Tran, Pierre Andrews, Necip Fazil Ayan, Shruti Bhosale, Sergey Edunov, Angela Fan, Cynthia Gao, Vedanuj Goswami, Francisco Guzmán, Philipp Koehn, Alexandre Mourachko, Christophe Ropers, Safiyyah Saleem, Holger Schwenk và Jeff Wang.

Tóm tắt của bài báo như sau:

Được thúc đẩy bởi mục tiêu xóa bỏ rào cản ngôn ngữ trên quy mô toàn cầu, dịch máy đã khẳng định vị thế là một trọng tâm nghiên cứu quan trọng của trí tuệ nhân tạo ngày nay. Tuy nhiên, những nỗ lực này đã tập trung vào một tập con nhỏ các ngôn ngữ, bỏ lại phía sau phần lớn các ngôn ngữ có ít tài nguyên. Cần những gì để phá vỡ rào cản 200 ngôn ngữ trong khi đảm bảo kết quả an toàn, chất lượng cao, đồng thời luôn xem xét các yếu tố đạo đức? Trong No Language Left Behind, chúng tôi đã đón nhận thách thức này bằng cách trước tiên đặt bối cảnh cho nhu cầu hỗ trợ dịch các ngôn ngữ ít tài nguyên thông qua các cuộc phỏng vấn khám phá với người bản ngữ. Sau đó, chúng tôi đã tạo ra các bộ dữ liệu và mô hình nhằm thu hẹp khoảng cách hiệu suất giữa các ngôn ngữ ít tài nguyên và nhiều tài nguyên. Cụ thể hơn, chúng tôi đã phát triển một mô hình tính toán có điều kiện dựa trên Sparsely Gated Mixture of Experts được huấn luyện trên dữ liệu thu được bằng các kỹ thuật khai thác dữ liệu mới và hiệu quả được thiết kế riêng cho các ngôn ngữ ít tài nguyên. Chúng tôi đề xuất nhiều cải tiến về kiến trúc và huấn luyện để khắc phục tình trạng quá khớp khi huấn luyện trên hàng nghìn tác vụ. Quan trọng là, chúng tôi đã đánh giá hiệu suất của hơn 40.000 hướng dịch khác nhau bằng cách sử dụng bộ chuẩn được dịch bởi con người, Flores-200, và kết hợp đánh giá của con người với một bộ chuẩn độc hại mới bao phủ tất cả các ngôn ngữ trong Flores-200 để đánh giá tính an toàn của bản dịch. Mô hình của chúng tôi đạt được cải thiện 44% BLEU so với mức tiên tiến trước đó, đặt nền tảng quan trọng hướng tới việc hiện thực hóa một hệ thống dịch phổ quát.

Mô hình này được đóng góp bởi Arthur Zucker. Mã nguồn gốc có thể được tìm thấy tại đây.

Mẹo sử dụng

  • M2M100ForConditionalGeneration là mô hình cơ sở cho cả NLLB và NLLB MoE
  • NLLB-MoE rất giống với mô hình NLLB, nhưng lớp feed forward của nó dựa trên cách triển khai của SwitchTransformers.
  • Tokenizer giống với các mô hình NLLB.

Khác biệt về triển khai so với SwitchTransformers

Sự khác biệt lớn nhất nằm ở cách các token được định tuyến. NLLB-MoE sử dụng top-2-gate, nghĩa là đối với mỗi đầu vào, chỉ hai chuyên gia hàng đầu được chọn dựa trên xác suất dự đoán cao nhất từ mạng gating, trong khi các chuyên gia còn lại bị bỏ qua. Trong SwitchTransformers, chỉ tính toán xác suất top-1, điều này có nghĩa là các token có ít khả năng được chuyển tiếp hơn. Hơn nữa, nếu một token không được định tuyến đến bất kỳ chuyên gia nào, SwitchTransformers vẫn thêm các trạng thái ẩn không bị thay đổi của nó (giống như một kết nối dư), trong khi chúng bị che đi trong cơ chế định tuyến top-2 của NLLB.

Tạo với NLLB-MoE

Các checkpoint khả dụng yêu cầu khoảng 350GB dung lượng lưu trữ. Hãy đảm bảo sử dụng accelerate nếu máy của bạn không có đủ RAM.

Khi tạo văn bản đích, đặt forced_bos_token_id thành id của ngôn ngữ đích. Ví dụ sau cho thấy cách dịch từ tiếng Anh sang tiếng Pháp bằng mô hình facebook/nllb-200-distilled-600M.

Lưu ý rằng chúng ta đang sử dụng mã BCP-47 cho tiếng Pháp fra_Latn. Xem tại đây để biết danh sách tất cả các mã BCP-47 trong bộ dữ liệu Flores 200.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-moe-54b")
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-moe-54b", device_map="auto")

article = "Previously, Ring's CEO, Jamie Siminoff, remarked the company started when his doorbell wasn't audible from his shop in his garage."
inputs = tokenizer(article, return_tensors="pt").to(model.device)

translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.lang_code_to_id["fra_Latn"], max_length=50
)
tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
"Auparavant, le PDG de Ring, Jamie Siminoff, a fait remarquer que la société avait commencé lorsque sa sonnette n'était pas audible depuis son magasin dans son garage."

Tạo nội dung từ bất kỳ ngôn ngữ nào khác tiếng Anh

Tiếng Anh (eng_Latn) được đặt làm ngôn ngữ mặc định để dịch. Để chỉ định rằng bạn muốn dịch từ một ngôn ngữ khác, bạn nên chỉ định mã BCP-47 trong đối số từ khóa src_lang của việc khởi tạo tokenizer.

Xem ví dụ bên dưới về việc dịch từ tiếng Romania sang tiếng Đức:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-moe-54b", src_lang="ron_Latn")
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-moe-54b", device_map="auto")

article = "Şeful ONU spune că nu există o soluţie militară în Siria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)

translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.lang_code_to_id["deu_Latn"], max_length=30
)
tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]

Tài nguyên

NllbMoeConfig

lớp transformers.NllbMoeConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truevocab_size: int = 128112max_position_embeddings: int = 1024encoder_layers: int = 12encoder_ffn_dim: int = 4096encoder_attention_heads: int = 16decoder_layers: int = 12decoder_ffn_dim: int = 4096decoder_attention_heads: int = 16encoder_layerdrop: float | int = 0.05decoder_layerdrop: float | int = 0.05use_cache: bool = Trueactivation_function: str = 'relu'd_model: int = 1024dropout: float | int = 0.1attention_dropout: float | int = 0.1activation_dropout: float | int = 0.0init_std: float = 0.02decoder_start_token_id: int | None = 2scale_embedding: bool = Truerouter_bias: bool = Falserouter_dtype: typing.Literal['float32', 'float16', 'bfloat16'] = 'float32'router_ignore_padding_tokens: bool = Falsenum_experts: int = 128expert_capacity: int = 64encoder_sparse_step: int = 4decoder_sparse_step: int = 4router_z_loss_coef: float = 0.001router_aux_loss_coef: float = 0.001second_expert_policy: str = 'all'normalize_router_prob_before_dropping: bool = Falsebatch_prioritized_routing: bool = Falsemoe_eval_capacity_token_fraction: float = 1.0moe_token_dropout: float | int = 0.2pad_token_id: int | None = 1bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 2tie_word_embeddings: bool = Trueoutput_router_logits: bool = False )

Tham số

  • is_encoder_decoder (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có được sử dụng như một encoder/decoder hay không.
  • vocab_size (int, tuỳ chọn, mặc định là 128112) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
  • max_position_embeddings (int, tùy chọn, mặc định là 1024) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng.
  • encoder_layers (int, tùy chọn, mặc định là 12) — Số lượng lớp ẩn trong bộ mã hóa Transformer. Nếu không được đặt, giá trị này sẽ giống với num_layers.
  • encoder_ffn_dim (int, tùy chọn, mặc định là 4096) — Kích thước của lớp “trung gian” (thường được gọi là feed-forward) trong encoder.
  • encoder_attention_heads (int, tùy chọn, mặc định là 16) — Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ mã hóa Transformer.
  • decoder_layers (int, tùy chọn, mặc định là 12) — Số lượng lớp ẩn trong bộ giải mã Transformer. Nếu không được đặt, giá trị này sẽ giống với num_layers.
  • decoder_ffn_dim (int, tùy chọn, mặc định là 4096) — Kích thước của lớp “trung gian” (thường được gọi là feed-forward) trong decoder.
  • decoder_attention_heads (int, tùy chọn, mặc định là 16) — Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.
  • encoder_layerdrop (Union[float, int], tùy chọn, mặc định là 0.05) — Xác suất LayerDrop cho encoder. Xem [bài báo LayerDrop](xem https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.
  • decoder_layerdrop (Union[float, int], tùy chọn, mặc định là 0.05) — Xác suất LayerDrop cho bộ giải mã. Xem [bài báo LayerDrop](xem https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.
  • use_cache (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu config.is_decoder=True hoặc khi mô hình là mô hình sinh chỉ có decoder.
  • activation_function (str, tùy chọn, mặc định là relu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • d_model (int, tùy chọn, mặc định là 1024) — Kích thước của các lớp encoder và lớp pooler.
  • dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Tỷ lệ cho tất cả các lớp dropout.
  • attention_dropout (Union[float, int], tùy chọn, mặc định là 0.1) — Tỷ lệ dropout cho các xác suất chú ý.
  • activation_dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ.
  • init_std (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
  • decoder_start_token_id (int, tùy chọn, mặc định là 2) — Nếu một mô hình encoder-decoder bắt đầu giải mã bằng một token khác với bos, đây là id của token đó.
  • scale_embedding (bool, tùy chọn, mặc định là True) — Có nên chia embedding cho sqrt(d_model) để chuẩn hóa hay không.
  • router_bias (bool, tùy chọn, mặc định là False) — Xác định xem bộ phân loại của router có nên có bias hay không.
  • router_dtype (str, tùy chọn, mặc định là "float32") — dtype được sử dụng cho các router. Nên giữ dtype ở mức "float32" như đã nêu trong phần thảo luận về độ chính xác có chọn lọc trong bài báo.
  • router_ignore_padding_tokens (bool, tuỳ chọn, mặc định là False) — Có nên bỏ qua các token đệm khi định tuyến hay không. Nếu False, các token đệm sẽ không được định tuyến đến bất kỳ chuyên gia nào.
  • num_experts (int, tùy chọn, mặc định là 128) — Số lượng chuyên gia được định tuyến trong các lớp MoE.
  • expert_capacity (int, tùy chọn, mặc định là 64) — Số lượng token có thể được lưu trữ trong mỗi chuyên gia.
  • encoder_sparse_step (int, tùy chọn, mặc định là 4) — Tần suất của các lớp thưa trong encoder. 4 có nghĩa là cứ 4 lớp thì có một lớp là lớp thưa.
  • decoder_sparse_step (int, tùy chọn, mặc định là 4) — Tần suất của các lớp thưa trong bộ giải mã. 4 có nghĩa là một trong bốn lớp sẽ là lớp thưa.
  • router_z_loss_coef (float, tùy chọn, mặc định là 0.001) — Hệ số cho router z-loss, thành phần phạt các router logits lớn để cải thiện độ ổn định của quá trình huấn luyện.
  • router_aux_loss_coef (float, tùy chọn, mặc định là 0.001) — Hệ số của tổn thất cân bằng tải phụ. Được sử dụng để phạt việc định tuyến chuyên gia không đồng đều trong các mô hình MoE.
  • second_expert_policy (str, tùy chọn, mặc định là "all") — Chính sách được sử dụng để lấy mẫu xác suất để một token được chọn vào chuyên gia thứ hai.
  • normalize_router_prob_before_dropping (bool, tuỳ chọn, mặc định là True) — Có nên chuẩn hóa xác suất của router trước khi áp dụng mặt nạ dựa trên sức chứa của chuyên gia (capacity dropping) hay không.
  • batch_prioritized_routing (bool, tùy chọn, mặc định là True) — Xác định có sắp xếp các token theo xác suất của router trước khi thực hiện capacity dropping hay không. Điều này có nghĩa là các token có xác suất cao nhất sẽ được định tuyến trước các token khác có thể nằm xa hơn trong chuỗi.
  • moe_eval_capacity_token_fraction (float, tùy chọn, mặc định là 1.0) — Tỷ lệ token dùng làm dung lượng trong quá trình kiểm tra, nếu đặt thành số âm thì dùng cùng giá trị như khi huấn luyện. Phải nằm trong khoảng: (0.0, 1.0].
  • moe_token_dropout (float, tùy chọn, mặc định là 0.2) — Tỷ lệ che (masking) cho việc che đầu ra chuyên gia MoE (EOM), được triển khai thông qua Dropout2d trên các đầu ra chuyên gia.
  • pad_token_id (int, tùy chọn, mặc định là 1) — Token id được sử dụng để đệm (padding) trong từ vựng.
  • bos_token_id (int, tùy chọn, mặc định là 0) — Token id được sử dụng cho đầu luồng trong bảng từ vựng.
  • eos_token_id (Union[int, list[int]], tùy chọn, mặc định là 2) — Token id được sử dụng cho end-of-stream trong bảng từ vựng.
  • tie_word_embeddings (bool, tùy chọn, mặc định là True) — Có nên gắn kết các trọng số nhúng theo ánh xạ tied_weights_keys của mô hình hay không.
  • output_router_logits (bool, tùy chọn, mặc định là False) — Xác định xem có nên trả về router logits từ mô hình hay không. Bật tùy chọn này cũng cho phép mô hình xuất ra tổn thất bổ trợ, bao gồm tổn thất cân bằng tải và router z-loss.

Đây là lớp cấu hình để lưu trữ cấu hình của một mô hình Nllb Moe. Nó được sử dụng để khởi tạo một mô hình Nllb Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của facebook/nllb-moe-54b

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import NllbMoeModel, NllbMoeConfig

>>> # Initializing a NllbMoe facebook/nllb-moe-54b style configuration
>>> configuration = NllbMoeConfig()

>>> # Initializing a model from the facebook/nllb-moe-54b style configuration
>>> model = NllbMoeModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

NllbMoeTop2Router

lớp transformers.NllbMoeTop2Router

< >

( config: NllbMoeConfig )

Router sử dụng token để chọn gán top-2 chuyên gia.

Router này sử dụng cùng cơ chế như trong NLLB-MoE từ kho fairseq. Các mục được sắp xếp theo router_probs và sau đó được định tuyến đến chuyên gia được chọn cho đến khi đạt expert_capacity của chuyên gia đó. Không có đảm bảo rằng mỗi token được xử lý bởi một chuyên gia, hoặc rằng mỗi chuyên gia nhận được ít nhất một token.

Các trọng số kết hợp của router cũng được trả về để đảm bảo rằng các trạng thái không được cập nhật sẽ bị che đi.

route_tokens

< >

( router_logits: Tensorinput_dtype: dtype = torch.float32padding_mask: typing.Optional[torch.LongTensor] = None )

Tính toán dispatch_mask và dispatch_weights cho từng chuyên gia. Các mặt nạ được điều chỉnh theo sức chứa của chuyên gia.

forward

< >

( hidden_states: Tensorpadding_mask: typing.Optional[torch.LongTensor] = None ) → top_1_mask (torch.Tensor of shape (batch_size, sequence_length))

Tham số

  • hidden_states (torch.Tensor) — (batch_size, sequence_length, hidden_dim) dùng để tính xác suất của router.

Trả về

top_1_mask (torch.Tensor có hình dạng (batch_size, sequence_length))

Tensor chỉ mục có hình dạng [batch_size, sequence_length] tương ứng với chuyên gia được chọn cho mỗi token dựa trên xác suất top1 của router. router_probabilities (torch.Tensor có hình dạng (batch_size, sequence_length, nump_experts)): Tensor có hình dạng (batch_size, sequence_length, num_experts) tương ứng với xác suất cho mỗi token và chuyên gia. Được sử dụng để định tuyến token đến các chuyên gia. router_logits (torch.Tensor có hình dạng (batch_size, sequence_length))): Tensor logits có hình dạng (batch_size, sequence_length, num_experts) tương ứng với logits thô của router. Điều này được sử dụng sau đó để tính toán router z-loss.

Các trạng thái ẩn được định dạng lại để đơn giản hóa việc tính toán xác suất của router (kết hợp trọng số cho mỗi chuyên gia.)

NllbMoeSparseMLP

lớp transformers.NllbMoeSparseMLP

< >

( config: NllbMoeConfigffn_dim: int )

Cài đặt mô-đun MLP thưa NLLB-MoE.

forward

< >

( hidden_states: Tensorpadding_mask: typing.Optional[torch.Tensor] = None )

NllbMoeModel

lớp transformers.NllbMoeModel

< >

( config: NllbMoeConfig )

Tham số

  • config (NllbMoeConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Nllb Moe cơ bản, xuất ra các hidden-states thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqMoEModelOutput or tuple(torch.Tensor)

Tham số

  • input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.

    Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào là gì?

  • attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
    • 1 cho các token không bị che,
    • 0 cho các token bị che.

    Mặt nạ chú ý là gì?

  • decoder_input_ids (torch.LongTensor có hình dạng (batch_size, target_sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào của decoder trong bảng từ vựng. Có thể lấy chỉ số bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết. ID đầu vào của decoder là gì?

    Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào của bộ giải mã là gì?

  • decoder_attention_mask (torch.LongTensor có shape (batch_size, target_sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên một số chỉ số token nhất định. Mặc định, một mặt nạ nhân quả sẽ được sử dụng để đảm bảo mô hình chỉ có thể nhìn vào các đầu vào trước đó nhằm dự đoán tương lai.
  • encoder_outputs (tuple[tuple[torch.Tensor]], tùy chọn) — Tuple bao gồm (last_hidden_state, tùy chọn: hidden_states, tùy chọn: attentions) last_hidden_state có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.
  • past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.

    Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

    Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

    Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
  • decoder_inputs_embeds (torch.Tensor có hình dạng (batch_size, target_sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền decoder_input_ids bạn có thể chọn trực tiếp truyền một biểu diễn nhúng. Nếu past_key_values được sử dụng, tùy chọn chỉ cần decoder_inputs_embeds cuối cùng phải được nhập (xem past_key_values). Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi decoder_input_ids chỉ số thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

    Nếu cả decoder_input_ids và decoder_inputs_embeds đều không được đặt, decoder_inputs_embeds sẽ nhận giá trị của inputs_embeds.

  • use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).

Trả về

Seq2SeqMoEModelOutput hoặc tuple(torch.Tensor)

Một Seq2SeqMoEModelOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.

Phương thức forward của NllbMoeModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của bộ giải mã (decoder) của mô hình.

    Nếu past_key_values được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape (batch_size, 1, hidden_size) được xuất ra.

  • past_key_values (EncoderDecoderCache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của EncoderDecoderCache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

    Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.

  • decoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với các đầu ra nhúng ban đầu tùy chọn.

  • decoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

  • decoder_router_logits (tuple(torch.Tensor), tuỳ chọn, được trả về khi truyền output_router_logits=True hoặc khi config.add_router_probs=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, sequence_length, num_experts).

    Logits của Router trong mô hình decoder, hữu ích để tính toán tổn thất phụ (auxiliary loss) cho các mô hình Mixture of Experts.

  • cross_attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Bộ tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.

  • encoder_last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.

  • encoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với các đầu ra nhúng ban đầu tùy chọn.

  • encoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

  • encoder_router_logits (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_router_logits=True hoặc khi config.add_router_probs=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, sequence_length, num_experts).

    Logits của Router trong mô hình encoder, hữu ích để tính toán auxiliary loss và z_loss cho các module sparse.

NllbMoeForConditionalGeneration

lớp transformers.NllbMoeForConditionalGeneration

< >

( config: NllbMoeConfig )

Tham số

  • config (NllbMoeConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình NllbMoe với đầu mô hình hóa ngôn ngữ. Có thể được sử dụng cho việc tóm tắt.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Noneoutput_router_logits: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqMoEOutput or tuple(torch.Tensor)

Tham số

  • input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.

    Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào là gì?

  • attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
    • 1 cho các token không bị che,
    • 0 cho các token bị che.

    Mặt nạ chú ý là gì?

  • decoder_input_ids (torch.LongTensor có hình dạng (batch_size, target_sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào của decoder trong bảng từ vựng. Có thể lấy chỉ số bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết. ID đầu vào của decoder là gì?

    Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào của bộ giải mã là gì?

  • decoder_attention_mask (torch.LongTensor có shape (batch_size, target_sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên một số chỉ số token nhất định. Mặc định, một mặt nạ nhân quả sẽ được sử dụng để đảm bảo mô hình chỉ có thể nhìn vào các đầu vào trước đó nhằm dự đoán tương lai.
  • encoder_outputs (tuple[tuple[torch.Tensor]], tùy chọn) — Tuple bao gồm (last_hidden_state, tùy chọn: hidden_states, tùy chọn: attentions) last_hidden_state có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.
  • past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.

    Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

    Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

    Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
  • decoder_inputs_embeds (torch.Tensor có hình dạng (batch_size, target_sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền decoder_input_ids bạn có thể chọn trực tiếp truyền một biểu diễn nhúng. Nếu past_key_values được sử dụng, tùy chọn chỉ cần decoder_inputs_embeds cuối cùng phải được nhập (xem past_key_values). Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi decoder_input_ids chỉ số thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

    Nếu cả decoder_input_ids và decoder_inputs_embeds đều không được đặt, decoder_inputs_embeds sẽ nhận giá trị của inputs_embeds.

  • labels (torch.LongTensor có shape (batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong [0, ..., config.vocab_size] hoặc -100 (xem docstring của input_ids). Các token có chỉ số được đặt thành -100 sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong [0, ..., config.vocab_size].
  • use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).
  • output_router_logits (bool, tùy chọn) — Có trả về logits của tất cả các router hay không. Chúng hữu ích để tính toán router loss và không nên được trả về trong quá trình suy luận.

Trả về

Seq2SeqMoEOutput hoặc tuple(torch.Tensor)

Một Seq2SeqMoEOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (NllbMoeConfig) và đầu vào.

Phương thức forward của NllbMoeForConditionalGeneration ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • loss (torch.Tensor có shape (1,), tùy chọn, được trả về khi labels được cung cấp) — Loss của language modeling.

  • logits (torch.Tensor có hình dạng (batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax).

  • past_key_values (EncoderDecoderCache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của EncoderDecoderCache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

    Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.

  • decoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.

  • decoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

  • decoder_router_logits (tuple(torch.Tensor), tuỳ chọn, được trả về khi truyền output_router_logits=True hoặc khi config.add_router_probs=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, sequence_length, num_experts).

    Logits của Router trong mô hình decoder, hữu ích để tính toán tổn thất phụ (auxiliary loss) cho các mô hình Mixture of Experts.

  • cross_attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Bộ tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.

  • encoder_last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.

  • encoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.

  • encoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

  • encoder_router_logits (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_router_logits=True hoặc khi config.add_router_probs=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, sequence_length, num_experts).

    Logits của Router trong mô hình encoder, hữu ích để tính toán auxiliary loss và z_loss cho các mô hình Mixture of Experts.

Ví dụ:

Update on GitHub

←NLLB NomicBERT→