Transformers documentation
X-Codec2
Mô hình này được công bố trên HF papers vào ngày 2025-02-06 và được đóng góp cho Hugging Face Transformers vào ngày 2026-06-25.
X-Codec2
Tổng quan
Mô hình X-Codec2 được đề xuất trong Llasa: Scaling Train-Time and Inference-Time Compute for Llama-based Speech Synthesis.
X-Codec2 là một codec âm thanh dựa trên mạng nơ-ron, được thiết kế để cải thiện tổng hợp giọng nói và tạo âm thanh nói chung cho các pipeline của mô hình ngôn ngữ lớn (LLM). Nó mở rộng X-Codec gốc bằng cách tinh chỉnh cách tích hợp và mã hóa token thông tin ngữ nghĩa và âm học, cho phép biểu diễn âm thanh hiệu quả và có độ trung thực cao.
Về kiến trúc của nó:
- Token hóa ngữ nghĩa - âm học thống nhất: X-Codec2 kết hợp đầu ra từ bộ mã hóa ngữ nghĩa (ví dụ: Wav2Vec2-BERT) và bộ mã hóa âm học thành một vector nhúng duy nhất, nắm bắt cả ý nghĩa cấp cao (ví dụ: nội dung văn bản, cảm xúc) và chi tiết âm thanh cấp thấp (ví dụ: âm sắc).
- Lượng tử hóa vô hướng đặc trưng một giai đoạn (FSQ): Khác với VQ dư thừa nhiều lớp trong hầu hết các phương pháp (ví dụ: DAC, EnCodec, X-Codec, Mimi), X-Codec2 sử dụng một lớp duy nhất của Lượng tử hóa vô hướng đặc trưng (FSQ) để đảm bảo tính ổn định và khả năng tương thích với các LLM tự hồi quy, nhân quả.
- Thiết kế thân thiện với Transformer: Cấu trúc token 1D của X-Codec2 tự nhiên phù hợp với mô hình hóa tự hồi quy trong các LLM như LLaMA, cải thiện hiệu quả huấn luyện và khả năng tương thích cho các tác vụ tiếp theo.
Một checkpoint của mô hình có sẵn tại HKUSTAudio/xcodec2-hf.
Mô hình này được đóng góp bởi Eric Bezzam và Steven Zheng. Mã mô hình hóa gốc có thể được tìm thấy tại đây, trong khi mã huấn luyện của họ là tại đây.
Ví dụ sử dụng
Dưới đây là một ví dụ nhanh về cách mã hóa và giải mã âm thanh bằng mô hình này:
from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel
model_id = "HKUSTAudio/xcodec2-hf"
model = AutoModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio = dataset[0]["audio"]["array"]
inputs = feature_extractor(audio=audio, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(
model.device, model.dtype
)
print("Input waveform shape:", inputs["input_values"].shape)
# Input waveform shape: torch.Size([1, 1, 93760])
# encoder and decoder
audio_codes = model.encode(**inputs).audio_codes
print("Audio codes shape:", audio_codes.shape)
# Audio codes shape: torch.Size([1, 1, 293])
audio_values = model.decode(audio_codes).audio_values
print("Audio values shape:", audio_values.shape)
# Audio values shape: torch.Size([1, 1, 93760])
# Equivalently, you can do encoding and decoding in one step
model_output = model(**inputs)
audio_codes = model_output.audio_codes
audio_values = model_output.audio_valuesXử lý theo lô
Cài đặt này cũng hỗ trợ đầu vào dạng lô (batched input), khác với bản phát hành ban đầu!
from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel
batch_size = 2
model_id = "HKUSTAudio/xcodec2-hf"
model = AutoModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audios = [dataset[i]["audio"]["array"] for i in range(batch_size)]
inputs = feature_extractor(audio=audios, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(
model.device, model.dtype
)
print("Input waveform shape:", inputs["input_values"].shape)
# Input waveform shape: torch.Size([2, 1, 93760])
# encoder and decoder
encoder_output = model.encode(**inputs)
audio_codes = encoder_output.audio_codes
print("Audio codes shape:", audio_codes.shape)
# Audio codes shape: torch.Size([2, 1, 293])
audio_values = model.decode(audio_codes).audio_values
print("Audio values shape:", audio_values.shape)
# Audio values shape: torch.Size([2, 1, 93760])
# Equivalently, you can do encoding and decoding in one step
model_output = model(**inputs)
audio_codes = model_output.audio_codes
audio_values = model_output.audio_valuesTăng tốc với torch.compile
Bạn có thể tăng tốc suy luận bằng torch.compile. Vài lần gọi đầu tiên sẽ chậm hơn do chi phí biên dịch, nhưng các lần gọi sau đó sẽ nhanh hơn.
Trên A100, chúng tôi quan sát được tốc độ tăng ~1.35 với kích thước lô là 4 (script).
import torch
from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel
batch_size = 4
model_id = "HKUSTAudio/xcodec2-hf"
model = AutoModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audios = [dataset[i]["audio"]["array"] for i in range(batch_size)]
inputs = feature_extractor(
audio=audios, sampling_rate=feature_extractor.sampling_rate, padding=True, return_tensors="pt"
).to(model.device, model.dtype)
compiled_model = torch.compile(model, fullgraph=True)
# Warmup (includes compilation on first call)
for _ in range(10):
with torch.inference_mode():
_ = compiled_model(**inputs)
with torch.inference_mode():
output = compiled_model(**inputs)
print("Audio values shape:", output.audio_values.shape)Xcodec2Config
lớp transformers.Xcodec2Config
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 1024intermediate_size: int = 4096num_hidden_layers: int = 12num_attention_heads: int = 16num_key_value_heads: int = 16hidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.02rms_norm_eps: float = 1e-06pad_token_id: int | None = Nonetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: int | float | None = 0.0head_dim: int = 64encoder_hidden_size: int = 48downsampling_ratios: list[int] | tuple[int, ...] = (2, 2, 4, 4, 5)semantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesampling_rate: int = 16000activation_dropout: float = 0.1quantization_dim: int = 2048quantization_levels: list[int] | tuple[int, ...] = (4, 4, 4, 4, 4, 4, 4, 4) )
Tham số
- hidden_size (
int, tùy chọn, mặc định là1024) — Kích thước của các biểu diễn ẩn. - intermediate_size (
int, tùy chọn, mặc định là4096) — Kích thước của các biểu diễn MLP. - num_hidden_layers (
int, tùy chọn, mặc định là12) — Số lượng lớp ẩn trong bộ giải mã Transformer. - num_attention_heads (
int, tùy chọn, mặc định là16) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - num_key_value_heads (
int, tùy chọn, mặc định là16) — Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếunum_key_value_heads=num_attention_heads, mô hình sẽ sử dụng Multi Head Attention (MHA), nếunum_key_value_heads=1mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại sẽ sử dụng GQA. Khi chuyển đổi checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem bài báo này. Nếu không được chỉ định, giá trị mặc định sẽ lànum_attention_heads. - hidden_act (
str, tùy chọn, mặc định làsilu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - max_position_embeddings (
int, tùy chọn, mặc định là4096) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng. - initializer_range (
float, tùy chọn, mặc định là0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - rms_norm_eps (
float, tùy chọn, mặc định là1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa rms. - pad_token_id (
int, tùy chọn) — Token id được sử dụng để đệm trong từ vựng. - tie_word_embeddings (
bool, tùy chọn, mặc định làFalse) — Có nên gắn kết các trọng số nhúng theo ánh xạtied_weights_keyscủa mô hình hay không. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị chorope_thetavà tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE vớimax_position_embeddingsdài hơn. - attention_bias (
bool, tùy chọn, mặc định làFalse) — Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không. - attention_dropout (
Union[int, float], tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho các xác suất chú ý. - head_dim (
int, tùy chọn, mặc định là64) — Kích thước chiều của đầu chú ý. Nếu là None, giá trị mặc định sẽ là hidden_size // num_attention_heads - encoder_hidden_size (
int, tùy chọn, mặc định là48) — Kích thước của các biểu diễn ẩn. - downsampling_ratios (
list[int], tùy chọn, mặc định là[2, 2, 4, 4, 5]) — Tỷ lệ hạ mẫu trong bộ mã hóa. - semantic_model_config (
Union[Dict, Wav2Vec2BertConfig], tùy chọn) — Một instance của đối tượng cấu hình cho mô hình semantic (Wav2Vec2BertConfig). - sampling_rate (
int, tùy chọn, mặc định là16000) — Tần số lấy mẫu (tính bằng hertz (Hz)) mà các tệp âm thanh cần được số hóa. - activation_dropout (
float, tùy chọn, mặc định là0.1) — Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ. - quantization_dim (
int, tùy chọn, mặc định là 2048) — Kích thước cho bảng mã hóa lượng tử hóa vector. - quantization_levels (
list[int], tùy chọn, mặc định là[4, 4, 4, 4, 4, 4, 4, 4]) — Các mức cho codebook lượng tử hóa vector.
Đây là lớp cấu hình để lưu trữ cấu hình của một Xcodec2Model. Nó được sử dụng để khởi tạo một mô hình Xcodec2 theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của HKUSTAudio/xcodec2-hf
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import Xcodec2Config, Xcodec2Model
>>> # Initializing configuration
>>> configuration = Xcodec2Config()
>>> # Initializing a model (with random weights) from the configuration
>>> model = Xcodec2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configXcodec2FeatureExtractor
lớp transformers.Xcodec2FeatureExtractor
< source >( feature_size = 80sampling_rate = 16000padding_value = 1.0hop_length = 320**kwargs )
Tham số
- feature_size (
int, tùy chọn, mặc định là 80) — Kích thước chiều của các đặc trưng đã trích xuất. - sampling_rate (
int, tùy chọn, mặc định là 16000) — Tần số lấy mẫu (tính bằng hertz (Hz)) mà các tệp âm thanh cần được số hóa. - padding_value (
float, tùy chọn, mặc định là 1.0) — Giá trị được sử dụng để điền vào các vector đệm cho phổ mel. - hop_length (
int, tùy chọn, mặc định là 320) — Số lượng mẫu âm thanh được mã hóa cho mỗi khung. Tương đương với tích của các tỷ lệ hạ mẫu. Cần thiết để đệm đầu vào cho bộ mã hóa âm học.
Tạo một bộ trích xuất đặc trưng Xcodec2, tính toán các đặc trưng mel-filter bank cho bộ mã hóa ngữ nghĩa và audio đã đệm cho bộ mã hóa âm học.
Feature extractor này kế thừa từ SequenceFeatureExtractor, bao gồm hầu hết các phương thức chính. Người dùng nên tham khảo lớp cha này để biết thêm thông tin về các phương thức đó.
__call__
< source >( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]padding: bool | str | transformers.utils.generic.PaddingStrategy = Truemax_length: int | None = Nonetruncation: bool = Falsereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = Nonedevice: str = 'cpu'**kwargs )
Tham số
- audio (
np.ndarray,torch.Tensor,list[np.ndarray],list[torch.Tensor]) — Mảng Numpy hoặc tensor torch có shape (num_channels, sequence_length). Có thể cung cấp một danh sách các mảng hoặc tensor như vậy cho một batch đầu vào. - padding (
bool,strhoặc PaddingStrategy, tùy chọn, mặc định làTrue) — Chọn một chiến lược để đệm các chuỗi trả về (theo phía đệm và chỉ số đệm của mô hình) trong số các lựa chọn sau:Truehoặc'longest': Lấp đầy đến trình tự dài nhất trong lô (hoặc không lấp đầy nếu chỉ có một trình tự được cung cấp).'max_length': Đệm (pad) đến độ dài tối đa được chỉ định bằng tham sốmax_lengthhoặc đến độ dài đầu vào tối đa mà mô hình chấp nhận được nếu tham số đó không được cung cấp.Falsehoặc'do_not_pad'(mặc định): Không đệm (tức là có thể xuất ra một lô với các chuỗi có độ dài khác nhau).
- max_length (
int, tùy chọn) — Độ dài tối đa của danh sách trả về và tùy chọn độ dài padding (xem bên trên). - truncation (
bool) — Bật tính năng cắt để giảm các chuỗi đầu vào dài hơn max_length xuống còn max_length. - return_tensors (
strhoặc TensorType, tùy chọn) — Nếu được đặt, sẽ trả về tensor thay vì danh sách các số nguyên Python. Các giá trị chấp nhận được là:'tf': Trả về các đối tượngtf.constantcủa TensorFlow.'pt': Trả về các đối tượngtorch.Tensorcủa PyTorch.'np': Trả về các đối tượng Numpynp.ndarray.
- sampling_rate (
int, tùy chọn) — Tần số lấy mẫu mà đầu vàoaudiođược lấy mẫu. Rất khuyến nghị truyềnsampling_ratetrong lời gọi forward để ngăn các lỗi âm thầm. - device (
str, tùy chọn, mặc định là"cpu") — Thiết bị cho các tensor PyTorch trong quá trình trích xuất đặc trưng mel-filter bank. - kwargs (tùy chọn) — Từ điển các đối số từ khóa còn lại sẽ được truyền cho tokenizer hoặc feature extractor.
Xcodec2Model
lớp transformers.Xcodec2Model
< source >( config: Xcodec2Config )
Tham số
- config (Xcodec2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình mã hóa âm thanh neural Xcodec2.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
decode
< source >( audio_codes: typing.Optional[torch.Tensor] = Nonelatents: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Xcodec2DecoderOutput or tuple(torch.Tensor)
Tham số
- audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length)) — Chỉ số mã rời rạc được tính toán bằngmodel.encode. - latents (
torch.Tensorcó hình dạng(batch_size, dimension, time_steps), tùy chọn) — Biểu diễn liên tục đã lượng tử hóa của đầu vào.
Trả về
Xcodec2DecoderOutput hoặc tuple(torch.Tensor)
Một Xcodec2DecoderOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.
- audio_values (
torch.Tensorcó hình dạng(batch_size, 1, segment_length), tùy chọn) — Các giá trị dạng sóng âm thanh đã giải mã trong miền thời gian, thu được bằng cách chuyển đổi các mã rời rạc trở lại thành tín hiệu âm thanh liên tục. Đây là âm thanh được tái tạo và có thể phát lại.
encode
< source >( input_values: Tensorinput_features: Tensorpadding_mask: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneoutput_latents: bool = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Xcodec2EncoderOutput or tuple(torch.Tensor)
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Đường sóng âm thanh đầu vào. - input_features (
torch.Tensorcó hình dạng(batch_size, mel_bins, time_steps)) — Biểu đồ mel của âm thanh đầu vào để mã hóa ngữ nghĩa. - padding_mask (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Mặt nạ đệm (padding mask) được sử dụng để đệminput_values. - input_features_mask (
torch.Tensorcó hình dạng(batch_size, time_steps), tùy chọn) — Mặt nạ chú ý cho đầu vào phổ âm (spectrogram) của bộ mã hóa ngữ nghĩa.1cho các khung hợp lệ,0cho phần đệm (padding). - output_latents (
bool, tùy chọn, mặc định làFalse) — Có nên trả về biểu diễn latent liên tục từ bộ lượng tử hóa hay không.
Trả về
Xcodec2EncoderOutput hoặc tuple(torch.Tensor)
Một Xcodec2EncoderOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.
- audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) — Các embedding mã rời rạc được tính toán bằngmodel.encode. Chúng đại diện cho dạng nén, lượng tử hóa của tín hiệu âm thanh đầu vào, có thể được sử dụng cho lưu trữ, truyền tải hoặc tạo sinh. - latents (
torch.Tensorcó hình dạng(batch_size, dimension, time_steps)) — Biểu diễn liên tục đã lượng tử hóa của embedding đầu vào. - audio_codes_mask (
torch.int32có shape(batch_size, 1, codes_length), tùy chọn) —padding_maskđã downsample để chỉ định các audio code hợp lệ trongaudio_codes.
forward
< source >( input_values: Tensorinput_features: Tensorpadding_mask: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneoutput_latents: bool = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Xcodec2Output or tuple(torch.Tensor)
Tham số
- input_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Đường sóng âm thanh đầu vào. - input_features (
torch.Tensorcó hình dạng(batch_size, mel_bins, time_steps)) — Biểu đồ mel của âm thanh đầu vào để mã hóa ngữ nghĩa. - padding_mask (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length)) — Mặt nạ đệm (padding mask) được sử dụng để đệminput_values. - input_features_mask (
torch.Tensorcó hình dạng(batch_size, time_steps), tùy chọn) — Mặt nạ chú ý cho đầu vào phổ âm (spectrogram) của bộ mã hóa ngữ nghĩa.1cho các khung hợp lệ,0cho phần đệm (padding). - output_latents (
bool, tùy chọn, mặc định làFalse) — Có nên trả về biểu diễn latent liên tục từ bộ lượng tử hóa hay không.
Trả về
Xcodec2Output hoặc tuple(torch.Tensor)
Một Xcodec2Output hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.
Phương thức forward của Xcodec2Model ghi đè phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
- audio_values (
torch.Tensorcó hình dạng(batch_size, 1, sequence_length), tùy chọn) — Các giá trị dạng sóng âm thanh đã giải mã trong miền thời gian, được lấy từ phần giải mã của Xcodec2. Những giá trị này đại diện cho tín hiệu âm thanh đã tái tạo. - audio_codes (
torch.LongTensorcó hình dạng(batch_size, 1, codes_length), tùy chọn) — Các embedding mã rời rạc được tính toán bằngmodel.encode. Đây là các biểu diễn đã lượng tử hóa của âm thanh đầu vào, được sử dụng cho các bước xử lý hoặc tạo tiếp theo. - latents (
torch.Tensorcó hình dạng(batch_size, dimension, time_steps)) — Biểu diễn liên tục đã lượng tử hóa của embedding đầu vào. - audio_codes_mask (
torch.int32có shape(batch_size, 1, codes_length), tùy chọn) —padding_maskđã downsample để chỉ định các audio code hợp lệ trongaudio_codes.
Ví dụ:
>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, Xcodec2Model
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> audio = dataset["train"]["audio"][0]["array"]
>>> model_id = "HKUSTAudio/xcodec2-hf"
>>> model = Xcodec2Model.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
>>> inputs = feature_extractor(audio=audio, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt")
>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values