Transformers documentation

Csm

Transformers

Начало работы

Transformers Установка Быстрый старт

Базовые классы

Модели

Предобработчики

Вывод

API конвейера

Generate API

Оптимизация

Чат с моделями

Развёртывание

Обучение

Начало работы

Настройка

Параметрически эффективная дообучение

Производительность

Распределённое обучение

Аппаратное обеспечение

Квантование

Интеграции с экосистемой

Ресурсы

API

Основные классы

Модели

Текстовые модели

Модели компьютерного зрения

Аудиомодели

Видеомодели

Мультимодальные модели

Модели обучения с подкреплением

Модели временных рядов

Внутренние вспомогательные функции

Справочник

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была добавлена в Hugging Face Transformers 07.05.2025.

Csm

Обзор

Модель разговорной речи (Conversational Speech Model, CSM) — это первая открытая контекстная модель синтеза речи из текста, выпущенная компанией Sesame. Она предназначена для генерации естественной на слух речи с учётом контекста разговора или без него. Такой контекст обычно представляет собой многораундовый диалог между говорящими, выраженный в виде последовательностей текста и соответствующих им аудиозаписей речи.

Архитектура модели: CSM состоит из двух авто-регрессивных трансформерных декодеров в стиле LLaMA: основного декодера, который предсказывает токен первого кодового блока, и декодера глубины, генерирующего остальные токены. Для кодирования речи в дискретные токены кодового блока и обратного декодирования их в аудио используется предобученная модель кодека Mimi, представленная Kyutai.

Исходный контрольный пункт csm-1b доступен в организации Sesame на Hugging Face.

Установите use_kernels=True в from_pretrained(), чтобы заменить поддерживаемые слои на оптимизированные ядра из Hub. Подробнее см. в разделе Загрузка ядер.

Советы по использованию

Без контекста диалога

CSM можно использовать для простого генерирования речи из текстового запроса:

from transformers import AutoProcessor, CsmForConditionalGeneration


model_id = "sesame/csm-1b"

# load the model and the processor
processor = AutoProcessor.from_pretrained(model_id)
model = CsmForConditionalGeneration.from_pretrained(model_id, device_map="auto")

# prepare the inputs
text = "[0]The past is just a story we tell ourselves." # `[0]` for speaker id 0
inputs = processor(text, add_special_tokens=True).to(model.device)

# another equivalent way to prepare the inputs
conversation = [
    {"role": "0", "content": [{"type": "text", "text": "The past is just a story we tell ourselves."}]},
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
).to(model.device)

# infer the model
audio = model.generate(**inputs, output_audio=True)
processor.save_audio(audio, "example_without_context.wav")

С контекстом диалога

CSM можно использовать для генерации речи по заданному диалогу, что обеспечивает согласованность голосов и генерацию с учётом контекста:

from datasets import Audio, load_dataset

from transformers import AutoProcessor, CsmForConditionalGeneration


model_id = "sesame/csm-1b"

# load the model and the processor
processor = AutoProcessor.from_pretrained(model_id)
model = CsmForConditionalGeneration.from_pretrained(model_id, device_map="auto")

# prepare the inputs
ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train")
# ensure the audio is 24kHz
ds = ds.cast_column("audio", Audio(sampling_rate=24000))
conversation = []

# 1. context
for text, audio, speaker_id in zip(ds[:4]["text"], ds[:4]["audio"], ds[:4]["speaker_id"]):
    conversation.append(
        {
            "role": f"{speaker_id}",
            "content": [{"type": "text", "text": text}, {"type": "audio", "path": audio["array"]}],
        }
    )

# 2. text prompt
conversation.append({"role": f"{ds[4]['speaker_id']}", "content": [{"type": "text", "text": ds[4]["text"]}]})

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
).to(model.device)

# infer the model
audio = model.generate(**inputs, output_audio=True)
processor.save_audio(audio, "example_with_context.wav")

Пакетный вывод

CSM поддерживает пакетный вывод!

from datasets import Audio, load_dataset

from transformers import AutoProcessor, CsmForConditionalGeneration


model_id = "sesame/csm-1b"

# load the model and the processor
processor = AutoProcessor.from_pretrained(model_id)
model = CsmForConditionalGeneration.from_pretrained(model_id, device_map="auto")

# prepare the inputs
ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train")
# ensure the audio is 24kHz
ds = ds.cast_column("audio", Audio(sampling_rate=24000))
# here a batch with two prompts
conversation = [
    [
        {
            "role": f"{ds[0]['speaker_id']}",
            "content": [
                {"type": "text", "text": ds[0]["text"]},
                {"type": "audio", "path": ds[0]["audio"]["array"]},
            ],
        },
        {
            "role": f"{ds[1]['speaker_id']}",
            "content": [
                {"type": "text", "text": ds[1]["text"]},
            ],
        },
    ],
    [
        {
            "role": f"{ds[0]['speaker_id']}",
            "content": [
                {"type": "text", "text": ds[0]["text"]},
            ],
        }
    ],
]
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
).to(model.device)

audio = model.generate(**inputs, output_audio=True)
processor.save_audio(audio, [f"speech_batch_idx_{i}.wav" for i in range(len(audio))])

Ускоряем модель

CSM поддерживает полную компиляцию графа с использованием CUDA graphs!


import torch
from datasets import load_dataset

from transformers import AutoProcessor, CsmForConditionalGeneration


model_id = "sesame/csm-1b"

# set logs to ensure no recompilation and graph breaks
torch._logging.set_logs(graph_breaks=True, recompiles=True, cudagraphs=True)

# load the model and the processor
processor = AutoProcessor.from_pretrained(model_id)
model = CsmForConditionalGeneration.from_pretrained(model_id, device_map="auto")

# use static cache, enabling automatically torch compile with fullgraph and reduce-overhead
model.generation_config.max_length = 250 # big enough to avoid recompilation
model.generation_config.max_new_tokens = None # would take precedence over max_length
model.generation_config.cache_implementation = "static"
model.depth_decoder.generation_config.cache_implementation = "static"

# generation kwargs
gen_kwargs = {
    "do_sample": False,
    "depth_decoder_do_sample": False,
    "temperature": 1.0,
    "depth_decoder_temperature": 1.0,
}

# Define a timing decorator
class TimerContext:
    def __init__(self, name="Execution"):
        self.name = name
        self.start_event = None
        self.end_event = None

    def __enter__(self):
        # Use CUDA events for more accurate GPU timing
        self.start_event = torch.cuda.Event(enable_timing=True)
        self.end_event = torch.cuda.Event(enable_timing=True)
        self.start_event.record()
        return self

    def __exit__(self, *args):
        self.end_event.record()
        torch.cuda.synchronize()
        elapsed_time = self.start_event.elapsed_time(self.end_event) / 1000.0
        print(f"{self.name} time: {elapsed_time:.4f} seconds")

# prepare the inputs
ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train")

conversation = [
    {
        "role": f"{ds[0]['speaker_id']}",
        "content": [
            {"type": "text", "text": ds[0]["text"]},
            {"type": "audio", "path": ds[0]["audio"]["array"]},
        ],
    },
    {
        "role": f"{ds[1]['speaker_id']}",
        "content": [
            {"type": "text", "text": ds[1]["text"]},
            {"type": "audio", "path": ds[1]["audio"]["array"]},
        ],
    },
    {
        "role": f"{ds[2]['speaker_id']}",
        "content": [
            {"type": "text", "text": ds[2]["text"]},
        ],
    },
]

padded_inputs_1 = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
).to(model.device)

print("\n" + "="*50)
print("First generation - compiling and recording CUDA graphs...")
with TimerContext("First generation"):
    _ = model.generate(**padded_inputs_1, **gen_kwargs)
print("="*50)

print("\n" + "="*50)
print("Second generation - fast !!!")
with TimerContext("Second generation"):
    _ = model.generate(**padded_inputs_1, **gen_kwargs)
print("="*50)

# now with different inputs
conversation = [
    {
        "role": f"{ds[0]['speaker_id']}",
        "content": [
            {"type": "text", "text": ds[2]["text"]},
            {"type": "audio", "path": ds[2]["audio"]["array"]},
        ],
    },
    {
        "role": f"{ds[1]['speaker_id']}",
        "content": [
            {"type": "text", "text": ds[3]["text"]},
            {"type": "audio", "path": ds[3]["audio"]["array"]},
        ],
    },
    {
        "role": f"{ds[2]['speaker_id']}",
        "content": [
            {"type": "text", "text": ds[4]["text"]},
        ],
    },
]
padded_inputs_2 = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
).to(model.device)

print("\n" + "="*50)
print("Generation with other inputs!")
with TimerContext("Generation with different inputs"):
    _ = model.generate(**padded_inputs_2, **gen_kwargs)
print("="*50)

Обучение

Интеграция CSM с Transformers поддерживает обучение!

from datasets import Audio, load_dataset

from transformers import AutoProcessor, CsmForConditionalGeneration


model_id = "sesame/csm-1b"

# load the model and the processor
processor = AutoProcessor.from_pretrained(model_id)
model = CsmForConditionalGeneration.from_pretrained(model_id, device_map="auto")
model.train()
model.codec_model.eval()

ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train")
# ensure the audio is 24kHz
ds = ds.cast_column("audio", Audio(sampling_rate=24000))
conversation = []

# context
for text, audio, speaker_id in zip(ds[:4]["text"], ds[:4]["audio"], ds[:4]["speaker_id"]):
    conversation.append(
        {
            "role": f"{speaker_id}",
            "content": [{"type": "text", "text": text}, {"type": "audio", "path": audio["array"]}],
        }
    )

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    output_labels=True,
).to(model.device)

out = model(**inputs)
out.loss.backward()

Эта модель была предоставлена Eustache Le Bihan. Исходный код можно найти здесь.

CsmConfig

класс transformers.CsmConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_codebooks: int | None = 32vocab_size: int = 2051text_vocab_size: int = 128256hidden_size: int = 2048intermediate_size: int = 8192num_hidden_layers: int = 16num_attention_heads: int = 32num_key_value_heads: int | None = 8hidden_act: str = 'silu'max_position_embeddings: int = 2048initializer_range: float = 0.02rms_norm_eps: float = 1e-05use_cache: bool = Truepad_token_id: int | None = 128002codebook_pad_token_id: int | None = 2050codebook_eos_token_id: int | list[int] | None = 0bos_token_id: int | None = 128000eos_token_id: int | list[int] | None = Noneaudio_token_id: int | None = 128002audio_eos_token_id: int | list[int] | None = 128003rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int | None = 0.0mlp_bias: bool = Falsehead_dim: int | None = Nonetie_codebooks_embeddings: bool | None = Truedepth_decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonecodec_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

Параметры

num_codebooks (int, необязательный, по умолчанию 32) — Количество параллельных кодовых книг, используемых моделью.
vocab_size (int, необязательный, по умолчанию 2051) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
text_vocab_size (int, необязательный, по умолчанию 128256) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
hidden_size (int, необязательный, по умолчанию 2048) — Размерность скрытых представлений.
intermediate_size (int, необязательный, по умолчанию 8192) — Размерность представлений MLP.
num_hidden_layers (int, необязательный, по умолчанию 16) — Количество скрытых слоев в декодере Transformer.
num_attention_heads (int, необязательный, по умолчанию 32) — Количество головок внимания в каждом слое внимания декодера Transformer.
num_key_value_heads (int, необязательный, по умолчанию 8) — Это количество ключевых и value-голов, используемых для реализации Grouped Query Attention. Если num_key_value_heads=num_attention_heads, модель использует Multi Head Attention (MHA); если num_key_value_heads=1 — Multi Query Attention (MQA); в остальных случаях применяется GQA. При конвертации мультиголовного чекпоинта в GQA-чекпоинт каждая групповая ключевая и value-голова должна конструироваться путем усреднения (meanpooling) всех исходных голов в этой группе. Дополнительные подробности — в этой статье. Если значение не указано, по умолчанию используется num_attention_heads.
hidden_act (str, необязательный, по умолчанию silu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
max_position_embeddings (int, необязательный, по умолчанию 2048) — Максимальная длина последовательности, с которой может использоваться эта модель.
initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
rms_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями нормализации rms.
use_cache (bool, необязательный, по умолчанию True) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только если config.is_decoder=True или если модель является генеративной моделью только с декодером.
pad_token_id (int, необязательный, по умолчанию 128002) — Идентификатор токена, используемого для выравнивания (padding) в словаре.
codebook_pad_token_id (int, необязательный, по умолчанию 2050) — Идентификатор токена отступов для токенов кодовой книги.
codebook_eos_token_id (int, необязательный, по умолчанию 0) — Идентификатор токена конца потока для токенов кодовой книги.
bos_token_id (int, необязательный, по умолчанию 128000) — Идентификатор токена, используемого для обозначения начала потока в словаре.
eos_token_id (Union[int, list[int]], необязательный) — Идентификатор токена, используемого для обозначения конца потока в словаре.
audio_token_id (int, необязательный, по умолчанию 128002) — Идентификатор аудио-токена во входном тексте.
audio_eos_token_id (int, необязательный, по умолчанию 128003) — Идентификатор токена конца потока для аудио во входном тексте.
rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], необязательный) — Словарь, содержащий параметры конфигурации для эмбеддингов RoPE. Словарь должен содержать значение для rope_theta и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными max_position_embeddings.
attention_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение (bias) в слоях проекции query, key, value и output при само-внимании.
attention_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
mlp_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение (bias) в слоях up_proj, down_proj и gate_proj внутри MLP-слоёв.
head_dim (int, необязательный) — Размер измерения головы внимания. Если значение равно None, по умолчанию используется hidden_size // num_attention_heads
tie_codebooks_embeddings (bool, необязательный, по умолчанию True) — Определяет, следует ли связать эмбеддинги токенов кодовой книги базовой модели с эмбеддингами токенов кодовой книги декодера глубины. Также устанавливается tie_word_embeddings; эмбеддинги текста и головка языковой модели остаются несвязанными.
depth_decoder_config (CsmDepthDecoderConfig, необязательный) — Конфигурация декодера глубины.
codec_config (PreTrainedConfig, необязательный) — Конфигурация кодека.

Это класс конфигурации для хранения настроек модели CsmForConditionalGeneration. Он используется для создания модели Csm в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели sesame/csm-1b.

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

>>> from transformers import CsmForConditionalGeneration, CsmConfig

>>> # Initializing a CsmConfig
>>> configuration = CsmConfig()

>>> # Initializing a model
>>> model = CsmForConditionalGeneration(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

CsmDepthDecoderConfig

класс transformers.CsmDepthDecoderConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_codebooks: int | None = 32backbone_hidden_size: int = 2048vocab_size: int = 2051hidden_size: int = 1024intermediate_size: int = 8192num_hidden_layers: int = 4num_attention_heads: int = 8num_key_value_heads: int | None = 2hidden_act: str = 'silu'max_position_embeddings: int = 33initializer_range: float = 0.02rms_norm_eps: float = 1e-05use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Nonerope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int | None = 0.0mlp_bias: bool = Falsehead_dim: int | None = None )

Параметры

num_codebooks (int, необязательный, по умолчанию 32) — Количество параллельных кодовых книг, используемых моделью.
backbone_hidden_size (int, необязательный, по умолчанию 2048) — Размерность скрытых представлений базовой модели, используемой с этим декодером глубины.
vocab_size (int, необязательный, по умолчанию 2051) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
hidden_size (int, необязательный, по умолчанию 1024) — Размерность скрытых представлений.
intermediate_size (int, необязательный, по умолчанию 8192) — Размерность представлений MLP.
num_hidden_layers (int, необязательный, по умолчанию 4) — Количество скрытых слоев в декодере Transformer.
num_attention_heads (int, необязательный, по умолчанию 8) — Количество головок внимания в каждом слое внимания декодера Transformer.
num_key_value_heads (int, необязательный, по умолчанию 2) — Это количество ключевых и value-голов, используемых для реализации Grouped Query Attention. Если num_key_value_heads=num_attention_heads, модель использует Multi Head Attention (MHA); если num_key_value_heads=1 — Multi Query Attention (MQA); в остальных случаях применяется GQA. При конвертации мультиголовного чекпоинта в GQA-чекпоинт каждая групповая ключевая и value-голова должна построиться путём усреднения (meanpooling) всех исходных голов в этой группе. Дополнительные сведения см. в этой статье. Если значение не указано, по умолчанию используется num_attention_heads.
hidden_act (str, необязательный, по умолчанию silu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
max_position_embeddings (int, необязательный, по умолчанию 33) — Максимальная длина последовательности, с которой может использоваться эта модель.
initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
rms_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями нормализации rms.
use_cache (bool, необязательный, по умолчанию True) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только если config.is_decoder=True или если модель является генеративной моделью только с декодером.
pad_token_id (int, необязательный) — Идентификатор токена, используемого для выравнивания в словаре.
bos_token_id (int, необязательный) — Идентификатор токена, используемого для обозначения начала потока в словаре.
eos_token_id (Union[int, list[int]], необязательный) — Идентификатор токена, используемого для обозначения конца потока в словаре.
rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], необязательный) — Словарь, содержащий параметры конфигурации для эмбеддингов RoPE. Словарь должен содержать значение для rope_theta и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными max_position_embeddings.
attention_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение (bias) в слоях проекции query, key, value и output при само-внимании.
attention_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
mlp_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение (bias) в слоях up_proj, down_proj и gate_proj внутри MLP-слоёв.
head_dim (int, необязательный) — Размер измерения головы внимания. Если значение равно None, по умолчанию используется hidden_size // num_attention_heads

Пример:

>>> from transformers import CsmDepthDecoder, CsmDepthDecoderConfig

>>> # Initializing a CsmDepthDecoder
>>> configuration = CsmDepthDecoderConfig()
>>> model = CsmDepthDecoderModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

CsmProcessor

класс transformers.CsmProcessor

< source >

( feature_extractortokenizerchat_template = None )

Параметры

feature_extractor (EncodecFeatureExtractor) — Экстрактор признаков является обязательным входным параметром.
tokenizer (tokenizer_class) — Токенизатор является обязательным входным параметром.
chat_template (str) — Jinja-шаблон для преобразования списков сообщений в чате в строку, пригодную для токенизации.

Создаёт CsmProcessor, который объединяет feature extractor и tokenizer в единый processor.

CsmProcessor предоставляет все возможности EncodecFeatureExtractor и tokenizer_class. Подробнее см. в ~EncodecFeatureExtractor и ~tokenizer_class.

call

< source >

( text: str | list[str] | list[list[str]] | Noneaudio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = Noneoutput_labels: bool | None = Falsedepth_decoder_labels_ratio: float | None = 1.0**kwargs: *<class 'transformers.models.csm.processing_csm.CsmProcessorKwargs'> ) → BatchFeature

Параметры

text (Union[str, list[str], list[list[str]]], необязательный) — Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предварительно токенизированная строка). Если вы передаёте предварительно токенизированный вход, установите is_split_into_words=True, чтобы избежать неоднозначности с батчированными входами.
audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], необязательный) — Аудио или пакет аудио, подлежащий подготовке. Каждое аудио может быть массивом NumPy или тензором PyTorch. В случае массива NumPy/тензора PyTorch каждое аудио должно иметь форму (C, T), где C — количество каналов, а T — длина выборки аудио.
output_labels (bool, необязательный, по умолчанию False) — Возвращать ли метки для обучения. Индексы будут из [config.audio_token_id, -100, -101].
- config.audio_token_id указывает на аудиокадры (элементы последовательности рассматриваются как кадры)
- -100 будет проигнорирован при вычислении функции потерь
- -101 означает, что аудиоквадрат будет использоваться только для базовой модели (с использованием первого токена кодовой книги в качестве меток)
depth_decoder_labels_ratio (float, необязательный, default=1.0) — Доля кадров аудио, которые сохраняются для меток декодера глубины.
encoded_length_kwargs (dict[str, *kwargs*, Any], необязательный) — Словарь именованных аргументов, используемых для вычисления длины закодированной аудиопоследовательности. Сюда входят параметры, такие как kernel_sizes, strides, dilations и use_causal_conv, которые определяют свёрточные слои, используемые при кодировании аудио. Длина закодированной последовательности используется для определения количества аудио-токенов, которые необходимо сгенерировать для каждого аудиовхода в текстовой последовательности.
return_tensors (str или TensorType, необязательный) — Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:
- 'pt': возвращает объекты torch.Tensor PyTorch.
- 'np': возвращает объекты NumPy np.ndarray.
**kwargs (ProcessingKwargs, optional) — Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict.

Возвращает

BatchFeature

Объект BatchFeature со следующими полями:

input_ids — список идентификаторов токенов, передаваемых в модель. Возвращается, если text не равно None.
input_values — список значений аудио, передаваемых в модель. Возвращается, если audio не равно None.
attention_mask — список индексов, указывающих, на какие токены модель должна обращать внимание (когда return_attention_mask=True или если “attention_mask” входит в self.model_input_names и если text не равно None).
labels — список меток для аудиокадров. Возвращается, если output_labels=True.

CsmForConditionalGeneration

класс transformers.CsmForConditionalGeneration

< source >

( config: CsmConfig )

Параметры

config (CsmConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Модель Csm состоит из двух авто-регрессивных трансформерных моделей, похожих на Llama: базовой модели, которая предсказывает токен первого кодового блока, и декодера глубины, который предсказывает остальные токены кодовых блоков.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneinput_values: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinput_values_cutoffs: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CsmOutputWithPast or tuple(torch.FloatTensor)

Параметры

input_ids (torch.LongTensor формы (batch_size, sequence_length, num_codebooks) or (batch_size, sequence_length)) —
1. (batch_size, sequence_length): соответствует входной последовательности, подготовленной с помощью процессора из текстового промпта. Для такого входа необходимо предоставить input_values, чтобы аудио могло быть закодировано в токены кодовой книги, а затем объединено с текстовыми токенами.
2. (batch_size, sequence_length, num_codebooks): токены кодовых книг, сгенерированные в процессе авторегрессивного декодирования. Такой вход не предназначен для использования конечными пользователями.
Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

Что такое входные идентификаторы?
input_values (torch.Tensor формы (batch_size, sequence_length), необязательный) — Значения типа float для входного сырого аудиосигнала. Значения можно получить, загрузив аудиофайл .flac или .wav в массив типа list[float], numpy.ndarray или torch.Tensor, например, с помощью библиотеки torchcodec (pip install torchcodec) или библиотеки soundfile (pip install soundfile). Для подготовки массива в input_values следует использовать AutoProcessor для выравнивания (padding) и преобразования в тензор типа torch.FloatTensor. Подробности см. в CsmProcessor.call().
attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
Что такое маски внимания?
input_values_cutoffs (torch.Tensor формы (batch_size, max_num_audio), необязательный) — Указывает конечные позиции аудиофрагментов внутри каждого элемента батча относительно склеенного аудиовхода. Если в элементе батча меньше фрагментов, чем максимальное количество, он дополняется значениями -1. Например, в батче из 2 последовательностей, где первая содержит 2 аудиофрагмента длины l1, а вторая — 1 аудиофрагмент длины l2, input_values_cutoffs будет выглядеть так: [[l1, 2 * l1], [l2, -1]].
position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].
Что такое идентификаторы позиций?
past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.
В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

Модель будет выводить тот же формат кэша, который был передан на вход.

Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).
inputs_embeds (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска эмбеддингов модели.
labels (torch.LongTensor с формой (batch_size, sequence_length), , необязательный) — Метки для вычисления потерь masked language modeling. Значения индексов должны находиться в диапазоне [config.audio_token_id, -100, -101]. Требуется, чтобы input_values было передано, поскольку аудио-токены будут выведены из него с помощью codec_model.
- config.audio_token_id указывает на кадры аудио (элементы последовательности рассматриваются как кадры)
- -100 будет проигнорирован при вычислении функции потерь
- -101 означает, что аудиоквадрат будет использоваться только для базовой модели (с использованием первого токена кодовой книги в качестве меток)
Такие метки можно подготовить, передав output_labels=True при вызове CsmProcessor.
use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
logits_to_keep (int или torch.Tensor, необязательный) — Оставлено для совместимости. Не поддерживает значения, отличные от:
1. 0, что эквивалентно сохранению всех логитов, используется в режиме обучения
2. 1, что эквивалентно сохранению только последнего логита, используется в режиме генерации

Возвращает

CsmOutputWithPast или tuple(torch.FloatTensor)

CsmOutputWithPast или кортеж torch.FloatTensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (CsmConfig) и входных данных.

Метод forward класса CsmForConditionalGeneration переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

loss (torch.FloatTensor формы (1,), необязательный, возвращается, если задан labels) — Потери языковой модели (для предсказания следующего токена).
logits (torch.FloatTensor формы (batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход past_key_values) для ускорения последовательного декодирования.
hidden_states (tuple[torch.FloatTensor, ...], необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж torch.FloatTensor (один для вывода слоя встраиваний, если у модели есть слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (tuple[torch.FloatTensor, ...], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
depth_decoder_loss (torch.FloatTensor формы (1,), необязательный, возвращается, если задан labels) — Потери языковой модели (для предсказания следующего токена) модели декодера глубины.
depth_decoder_logits (torch.FloatTensor формы (batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний декодера глубины (оценки для каждого токена словаря до применения SoftMax).
depth_decoder_past_key_values (Cache, optional, возвращается, если передано use_cache=True или если config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по kv cache.
depth_decoder_hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж torch.FloatTensor (один для вывода слоя встраиваний, если у модели есть слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
depth_decoder_attentions (tuple(torch.FloatTensor), необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.FloatTensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).
backbone_loss (torch.FloatTensor формы (1,), необязательный, возвращается, если задан labels) — Потери языковой модели (для предсказания следующего токена) базовой модели.

Пример:

>>> import torch
>>> from transformers import CsmForConditionalGeneration, AutoProcessor
>>> from datasets import load_dataset, Audio

>>> model_id = "sesame/csm-1b"
>>> torch_device = "cuda" if torch.cuda.is_available() else "cpu"

>>> processor = AutoProcessor.from_pretrained(model_id)

>>> ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train")
>>> # ensure the audio is 24kHz
>>> ds = ds.cast_column("audio", Audio(sampling_rate=24000))

>>> conversation = []
>>> # prepare a conversation with text and corresponding audio
>>> for text, audio, speaker_id in zip(ds[:4]["text"], ds[:4]["audio"], ds[:4]["speaker_id"]):
...     conversation.append(
...         {
...             "role": f"{speaker_id}",
...             "content": [{"type": "text", "text": text}, {"type": "audio", "path": audio["array"]}],
...         }
...     )

>>> inputs = processor.apply_chat_template(
...     conversation,
...     tokenize=True,
...     return_dict=True,
...     output_labels=True,
... ).to(torch_device)

>>> model = CsmForConditionalGeneration.from_pretrained(model_id, device_map=torch_device)
>>> output = model(**inputs)
>>> output.loss.backward()

generate

< source >

( input_ids: typing.Optional[torch.Tensor] = Noneinput_values: typing.Optional[torch.Tensor] = Noneinput_values_cutoffs: typing.Optional[torch.Tensor] = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonelogits_processor: transformers.generation.logits_process.LogitsProcessorList | None = Nonestopping_criteria: transformers.generation.stopping_criteria.StoppingCriteriaList | None = Nonesynced_gpus: bool | None = Nonestreamer: typing.Optional[ForwardRef('BaseStreamer')] = Noneoutput_audio: bool | None = False**kwargs ) → CsmGenerateOutput or torch.LongTensor or list[torch.FloatTensor]

Параметры

inputs_ids (torch.Tensor формы (batch_size, seq_length), необязательный) — Последовательность, используемая в качестве промпта для базовой модели.
input_values (torch.Tensor формы (batch_size, channels, max_concatenated_audio_length), необязательный) — Значения аудиовхода в формате батча, где каждая запись батча содержит конкатенацию всех аудиосегментов для этой записи. Эти значения будут закодированы в токены codebook с помощью модели-кодека и объединены с идентификаторами текстового входа, переданными в input_ids.
input_values_cutoffs (torch.Tensor формы (batch_size, max_num_audio), необязательный) — Указывает конечные позиции аудиофрагментов внутри каждого элемента батча относительно склеенного аудиовхода. Если в элементе батча меньше фрагментов, чем максимальное число, он дополняется значениями -1. Например, в батче из 2 последовательностей, где первая содержит 2 аудиофрагмента длины l1, а вторая — 1 аудиофрагмент длины l2, input_values_cutoffs будет выглядеть так: [[l1, 2 * l1], [l2, -1]].
generation_config (GenerationConfig, optional) — Конфигурация генерации, используемая в качестве базовой параметризации для вызова генерации. **kwargs, передаваемые в generate и совпадающие с атрибутами generation_config, будут переопределять их. Если generation_config не указан, будет использован вариант по умолчанию, который имеет следующий приоритет загрузки: 1) из файла модели generation_config.json, если он существует; 2) из конфигурации модели. Обратите внимание, что не указанные параметры наследуют значения по умолчанию GenerationConfig, документация по которым должна быть проверена для параметризации генерации.
logits_processor (LogitsProcessorList, необязательный) — Пользовательские обработчики logits, дополняющие стандартные обработчики logits, создаваемые на основе аргументов и конфигурации генерации. Если передан обработчик logits, который уже был создан с помощью аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей.
stopping_criteria (StoppingCriteriaList, необязательный) — Пользовательские критерии остановки, дополняющие критерии остановки по умолчанию, формируемые на основе аргументов и конфигурации генерации. Если передан критерий остановки, который уже был создан с использованием этих аргументов или конфигурации генерации, будет выброшена ошибка. Если ваш критерий остановки зависит от входных данных scores, убедитесь, что вы передаёте return_dict_in_generate=True, output_scores=True в generate. Эта функция предназначена для опытных пользователей.
synced_gpus (bool, необязательный) — Определяет, следует ли продолжать выполнение цикла while до достижения max_length. Если значение не переопределено, этот флаг будет установлен в True при использовании FullyShardedDataParallel или DeepSpeed ZeRO Stage 3 с несколькими GPU, чтобы избежать блокировки, если один GPU завершает генерацию раньше других. В противном случае по умолчанию устанавливается False.
streamer (BaseStreamer, необязательный) — Объект, который будет использоваться для потоковой передачи сгенерированных последовательностей. Сгенерированные токены передаются через streamer.put(token_ids), а streamer отвечает за дальнейшую обработку.
output_audio (bool, необязательный) — Указывает, следует ли возвращать сгенерированный аудиопоток.
kwargs (dict[str, Any], необязательный) — Свободная параметризация generation_config и/или дополнительные специфичные для модели kwargs, которые будут переданы в функцию forward модели. Специфичные для depth decoder kwargs должны иметь префикс depthdecoder.

Возвращает

CsmGenerateOutput или torch.LongTensor или list[torch.FloatTensor]

CsmGenerateOutput (если return_dict_in_generate=True или когда config.return_dict_in_generate=True) или torch.LongTensor, если output_audio=False, иначе — list[torch.FloatTensor].

Этот метод переопределяет generate() с учётом особенностей модели Csm. Действительно, модели Csm требуется собственный шаг выборки при генерации:

Выполнить инференс базовой модели для выборки первого токена кодовой книги
Call generate on the depth decoder with the first codebook token as input_ids to sample the next codebook tokens
Используйте эти сгенерированные токены кодовой книги в качестве input_ids, чтобы сэмплировать первый токен кодовой книги с помощью базовой модели
Повторяйте, пока не будут выполнены условия остановки

Большинство параметров, управляющих генерацией, задаются в generation_config, который, если не передан явно, принимает значения конфигурации генерации по умолчанию для модели. Вы можете переопределить любые параметры generation_config, передав соответствующие аргументы в generate(), например .generate(inputs, do_sample=True).

Пример:

>>> from transformers import CsmProcessor, CsmForConditionalGeneration
>>> from datasets import load_dataset, Audio

>>> model_id = "sesame/csm-1b"
>>> torch_device = "cuda" if torch.cuda.is_available() else "cpu"

>>> processor = AutoProcessor.from_pretrained(model_id)

>>> ds = load_dataset("hf-internal-testing/dailytalk-dummy", split="train")
>>> # ensure the audio is 24kHz
>>> ds = ds.cast_column("audio", Audio(sampling_rate=24000))

>>> conversation = []
>>> # prepare a conversation with text and corresponding audio
>>> for text, audio, speaker_id in zip(ds[:4]["text"], ds[:4]["audio"], ds[:4]["speaker_id"]):
...     conversation.append(
...         {
...             "role": f"{speaker_id}",
...             "content": [{"type": "text", "text": text}, {"type": "audio", "path": audio["array"]}],
...         }
...     )

>>> # text prompt
>>> conversation.append({"role": f"{ds[4]['speaker_id']}", "content": [{"type": "text", "text": ds[4]["text"]}]})

>>> inputs = processor.apply_chat_template(
...     conversation,
...     tokenize=True,
...     return_dict=True,
... ).to(torch_device)

>>> model = CsmForConditionalGeneration.from_pretrained(model_id, device_map=torch_device)
>>> audio = model.generate(**inputs, output_audio=True)
>>> processor.save_audio(audio, "output.wav")

CsmDepthDecoderForCausalLM

класс transformers.CsmDepthDecoderForCausalLM

< source >

( config: CsmDepthDecoderConfig )

Параметры

config (CsmDepthDecoderConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

The CsmDepthDecoder Model transformer, with a CsmCodebooksHead on top, which can be seen a position-specific language modeling head, allowing to use a different linear layer for each codebook (e.g. position 0 is the first codebook and uses the first codebook head, etc.)

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Nonebackbone_last_hidden_state: typing.Optional[torch.FloatTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutputWithPast or tuple(torch.FloatTensor)

Параметры

input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.
Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

Что такое входные идентификаторы?
backbone_last_hidden_state (torch.FloatTensor формы (batch_size, backbone_hidden_size), необязательный) — Последнее скрытое состояние модели-бэкбона. Такой вход требуется, когда первый токен кодовой книги (тот, что сгенерирован моделью-бэкбоном) передан в аргументе input_ids.
attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
Что такое маски внимания?
position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].
Что такое идентификаторы позиций?
past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.
В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

Модель будет выводить тот же формат кэша, который был передан на вход.

Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).
inputs_embeds (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска эмбеддингов модели.
labels (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне [0, ..., config.vocab_size] или быть равны -100 (см. docstring input_ids). Токены с индексами, установленными в -100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне [0, ..., config.vocab_size].
use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
logits_to_keep (Union[int, torch.Tensor], необязательный, по умолчанию 0) — Если передано значение типа int, вычисляет logits для последних logits_to_keep токенов. Если указано 0, logits вычисляются для всех input_ids (особый случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типа torch.Tensor, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (один размер для batch и длины последовательности).

Возвращает

CausalLMOutputWithPast или tuple(torch.FloatTensor)

Объект CausalLMOutputWithPast или кортеж torch.FloatTensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (CsmConfig) и входных данных.

Метод forward класса CsmDepthDecoderForCausalLM переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

loss (torch.FloatTensor формы (1,), необязательный, возвращается, если задан labels) — Потери языковой модели (для предсказания следующего токена).
logits (torch.FloatTensor формы (batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход past_key_values) для ускорения последовательного декодирования.
hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет такой слой, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

CsmDepthDecoderModel

класс transformers.CsmDepthDecoderModel

< source >

( config: CsmDepthDecoderConfig )

Параметры

config (CsmDepthDecoderConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

Модель Csm без дополнительных компонентов, выводящая необработанные скрытые состояния (raw hidden-states) без какого-либо специализированного слоя (head) сверху.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Nonebackbone_last_hidden_state: typing.Optional[torch.FloatTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.FloatTensor)

Параметры

input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.
Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

Что такое входные идентификаторы?
backbone_last_hidden_state (torch.FloatTensor формы (batch_size, backbone_hidden_size), необязательный) — Последнее скрытое состояние модели-бэкбона. Такой вход требуется, когда первый токен кодовой книги (тот, что сгенерирован моделью-бэкбоном) передан в аргументе input_ids.
attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
Что такое маски внимания?
position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].
Что такое идентификаторы позиций?
past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.
В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

Модель будет выводить тот же формат кэша, который был передан на вход.

Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).
inputs_embeds (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска эмбеддингов модели.
use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).

Возвращает

BaseModelOutputWithPast или tuple(torch.FloatTensor)

Объект BaseModelOutputWithPast или кортеж torch.FloatTensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (CsmConfig) и входных данных.

Метод forward модели CsmDepthDecoderModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

last_hidden_state (torch.FloatTensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.

Если используется past_key_values, выводится только последнее скрытое состояние последовательностей формы (batch_size, 1, hidden_size).
past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если config.is_encoder_decoder=True, в блоках кросс-внимания), которые можно использовать (см. входной параметр past_key_values) для ускорения последовательного декодирования.
hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет такой слой, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

CsmBackboneModel

класс transformers.CsmBackboneModel

< source >

( config: CsmConfig )

Параметры

config (CsmConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.FloatTensor)

Параметры

input_ids (torch.LongTensor формы (batch_size, sequence_length, num_codebooks) or (batch_size, sequence_length)) —
1. (batch_size, sequence_length): соответствует входной последовательности, подготовленной с помощью процессора из текстового промпта. Для такого входа необходимо предоставить input_values, чтобы аудио могло быть закодировано в токены кодовой книги, а затем объединено с текстовыми токенами.
2. (batch_size, sequence_length, num_codebooks): токены кодовых книг, сгенерированные в процессе авторегрессивного декодирования. Такой вход не предназначен для использования конечными пользователями.
Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

Что такое входные идентификаторы?
attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
Что такое маски внимания?
position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].
Что такое идентификаторы позиций?
past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.
В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

Модель будет выводить тот же формат кэша, который был передан на вход.

Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).
inputs_embeds (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска эмбеддингов модели.
use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).

Возвращает

BaseModelOutputWithPast или tuple(torch.FloatTensor)

Метод forward модели CsmBackboneModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

last_hidden_state (torch.FloatTensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.

Если используется past_key_values, выводится только последнее скрытое состояние последовательностей формы (batch_size, 1, hidden_size).
past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если config.is_encoder_decoder=True, в блоках кросс-внимания), которые можно использовать (см. входной параметр past_key_values) для ускорения последовательного декодирования.
hidden_states (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет такой слой, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (tuple(torch.FloatTensor), необязательный, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Update on GitHub

←Cohere ASR dac→