Hugging Face's logo

Transformers documentation

Tokenizer Higgs Audio V2

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Este modelo foi contribuído para o Hugging Face Transformers em 19/02/2026.

Tokenizer Higgs Audio V2

Visão geral

  • Taxa de quadros baixa: a 25 fps, nosso tokenizer reduz pela metade a taxa de quadros de muitas baselines, mantendo ao mesmo tempo uma alta qualidade de áudio.
  • Treinamento unificado a 24 kHz: misturamos clipes de fala, música e eventos sonoros em um único modelo, capturando detalhes semânticos e acústicos, o que facilita enormemente o treinamento de modelos de linguagem de áudio.
  • Inferência rápida: Ao evitar etapas de difusão, nosso codificador/decodificador processa lotes rapidamente, tornando-o prático para tarefas em tempo real ou em larga escala.

Arquitetura do modelo:

Uso

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel


# load model and feature extractor
model_id = "eustlb/higgs-audio-v2-tokenizer"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = HiggsAudioV2TokenizerModel.from_pretrained(model_id, device_map="auto")

# load audio sample
dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

HiggsAudioV2TokenizerConfig

classe transformers.HiggsAudioV2TokenizerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetarget_bandwidths: list[int | float] | tuple[int | float, ...] = (0.5, 1, 1.5, 2, 4)sample_rate: int = 24000kernel_size: int = 3channel_ratios: list[int] | tuple[int, ...] = (1, 1)strides: list[int] | tuple[int, ...] = (1, 1)block_dilations: list[int] | tuple[int, ...] = (1, 1)unit_kernel_size: int = 3codebook_size: int = 1024codebook_dim: int = 64initializer_range: float = 0.02acoustic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_sample_rate: int = 16000downsample_factor: int = 320 )

Parâmetros

  • target_bandwidths (List[float], opcional, padrão [0.5, 1, 1.5, 2]) — A faixa de diferentes larguras de banda (em kbps) com as quais o modelo pode codificar áudio.
  • sample_rate (int, opcional, padrão 24000) — A taxa de amostragem na qual os arquivos de áudio devem ser digitalizados, expressa em hertz (Hz).
  • kernel_size (int, opcional, padrão 3) — Tamanho do kernel para a convolução semântica inicial.
  • channel_ratios (List[float], opcional, padrão [1, 1]) — Fatores de expansão para o número de canais de saída em cada bloco semântico.
  • strides (List[int], opcional, padrão [1, 1]) — Passos para cada bloco do codificador semântico.
  • block_dilations (List[int], opcional, padrão [1, 1]) — Fatores de dilatação para as unidades residuais nos blocos semânticos.
  • unit_kernel_size (int, opcional, padrão 3) — Tamanho do kernel dentro de cada ResidualUnit nos blocos semânticos.
  • codebook_size (int, opcional, padrão 1024) — O número de codebooks paralelos usados pelo modelo.
  • codebook_dim (int, opcional, padrão 64) — Dimensão de cada vetor de incorporação do codebook.
  • initializer_range (float, opcional, padrão 0.02) — O desvio padrão do truncated_normal_initializer para inicializar todas as matrizes de pesos.
  • acoustic_model_config (Union[Dict, AutoConfig], opcional) — Uma instância da configuração para o modelo acústico (DAC).
  • semantic_model_config (Union[Dict, AutoConfig], opcional) — Uma instância do objeto de configuração para o modelo semântico (HuBERT).
  • semantic_sample_rate (int, opcional, padrão 16000) — A taxa de amostragem na qual o modelo semântico espera a entrada de áudio, em hertz (Hz).
  • downsample_factor (int, opcional, padrão 320) — Fator de redução de resolução para os recursos semânticos.

Esta é a classe de configuração para armazenar a configuração de um HiggsAudioV2TokenizerModel. Ela é usada para instanciar um modelo Higgs Audio V2 Tokenizer de acordo com os argumentos especificados, definindo a arquitetura do modelo. Instanciar uma configuração com os padrões resultará em uma configuração semelhante à do bosonai/higgs-audio-v2-tokenizer

Os objetos de configuração herdam de PreTrainedConfig e podem ser usados para controlar as saídas do modelo. Consulte a documentação de PreTrainedConfig para mais informações.

Exemplo:

>>> from transformers import HiggsAudioV2TokenizerModel, HiggsAudioV2TokenizerConfig

>>> # Initializing configuration
>>> configuration = HiggsAudioV2TokenizerConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = HiggsAudioV2TokenizerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

HiggsAudioV2TokenizerModel

classe transformers.HiggsAudioV2TokenizerModel

< >

( config: HiggsAudioV2TokenizerConfig )

Parâmetros

  • config (HiggsAudioV2TokenizerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

O modelo de codec neural de áudio HiggsAudioV2Tokenizer.

Este modelo herda de PreTrainedModel. Consulte a documentação da classe pai para os métodos genéricos que a biblioteca implementa para todos os seus modelos (como download ou salvamento, redimensionamento dos embeddings de entrada, poda de cabeças, etc.)

Este modelo também é uma subclasse de torch.nn.Module do PyTorch. Use-o como um Módulo PyTorch regular e consulte a documentação do PyTorch para todos os assuntos relacionados ao uso geral e ao comportamento.

decode

< >

( audio_codes: Tensorreturn_dict: bool | None = None )

Parâmetros

  • audio_codes (torch.LongTensor de forma (batch_size, num_quantizers, codes_length)) — Índices de códigos discretos calculados usando model.encode.
  • return_dict (bool, opcional) — Se deve ou não retornar um ModelOutput

encode

< >

( input_values: Tensorbandwidth: float | None = Nonereturn_dict: bool | None = None )

Parâmetros

  • input_values (torch.Tensor de forma (batch_size, channels, num_samples)) — Valores em ponto flutuante da forma de onda de áudio de entrada.
  • bandwidth (float, opcional) — A largura de banda alvo em (kbps) suporta apenas valores em config.target_bandwidths. Padrão: a maior largura de banda disponível, 4.0 kbps.
  • return_dict (bool, opcional) — Se deve ou não retornar um ModelOutput.

forward

< >

( input_values: Tensoraudio_codes: typing.Optional[torch.Tensor] = Nonebandwidth: float | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → HiggsAudioV2TokenizerOutput or tuple (audio_codes, audio_values)

Parâmetros

  • input_values (torch.Tensor de forma (batch_size, channels, num_samples)) — Os valores float brutos da forma de onda de áudio de entrada.
  • audio_codes (torch.LongTensor de forma (batch_size, num_quantizers, codes_length) — Índices de códigos discretos calculados usando model.encode.
  • bandwidth (float, opcional) — Largura de banda alvo em kbps. Deve ser um dos valores de config.target_bandwidths. O padrão é a maior largura de banda disponível.
  • bandwidth (float, opcional) — Largura de banda alvo em kbps. Deve ser um dos valores de config.target_bandwidths. O padrão é a maior largura de banda disponível.

Retorna

HiggsAudioV2TokenizerOutput ou tupla (audio_codes, audio_values)

  • audio_codes de forma (batch_size, num_quantizers, codes_length): os códigos discretos quantizados.
  • audio_values com formato (batch_size, channels, num_samples): a forma de onda de áudio reconstruída a partir dos códigos.

O método forward do HiggsAudioV2TokenizerModel substitui o método especial __call__.

Embora a receita para a passagem direta precise ser definida dentro desta função, deve-se chamar a instância de Module em seguida, em vez desta, pois a primeira cuida da execução das etapas de pré e pós-processamento, enquanto a segunda as ignora silenciosamente.

Exemplo:

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel

>>> model_id = "hf-audio/higgs_audio_v2_tokenizer-hubert-librispeech"
>>> model = HiggsAudioV2TokenizerModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values
Update on GitHub

←Higgs Audio V2 Hubert→