パラメータ

• input_values (torch.Tensor、shape (batch_size, audio_length)) — 生の音声波形の浮動小数点数値です。生の音声波形は、.flac または .wav のオーディオファイルを list[float] 型、numpy.ndarray 型、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。input_values として配列を準備するには、パディングと torch.Tensor 型への変換のために AutoFeatureExtractor を使用してください。
• attention_mask (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
  • マスクされていないトークンに対して1
  • マスクされたトークンに対しては 0 です。

  アテンションマスクとは?

• decoder_input_ids (torch.LongTensor の形状 (batch_size, target_sequence_length), 、任意) — 語彙におけるデコーダー入力シーケンスのトークンインデックスです。

  インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

  デコーダー入力IDとは何ですか？

• decoder_attention_mask (torch.LongTensor、shape (batch_size, target_sequence_length)、任意) — 特定のトークンインデックスに対するアテンションの計算を回避するためのマスクです。デフォルトでは因果マスクが使用され、モデルが未来を予測する際に過去の入力のみを参照できるようにします。
• encoder_outputs (tuple[tuple[torch.Tensor]]、任意) — (last_hidden_state、任意: hidden_states、任意: attentions) のタプル last_hidden_state は形状 (batch_size, sequence_length, hidden_size)、任意) で、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。
• past_key_values (~cache_utils.EncoderDecoderCache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算済みヒデンステート（セルフアテンションブロックおよびクロスアテンションブロックのキーとバリュー）。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.

  入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

  モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

  past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。

• decoder_inputs_embeds (tuple[torch.Tensor] 形状 (batch_size, target_sequence_length, hidden_size), 任意) — 任意で、 decoder_input_ids の代わりに、埋め込み表現を直接渡すこともできます。 past_key_values が使用されている場合、最後の decoder_inputs_embeds のみを入力すればよい場合があります（ past_key_values). は、 decoder_input_ids のインデックスを関連するベクトルに変換する方法を、モデル内部の埋め込み検索行列よりも細かく制御したい場合に便利です。

  decoder_input_ids と decoder_inputs_embeds の両方が設定されていない場合、decoder_inputs_embeds は inputs_embeds の値を採ります。

• decoder_position_ids (torch.LongTensor、shape (batch_size, target_sequence_length)) — 位置埋め込みにおける、各入力シーケンスのトークンの位置のインデックスです。config.decoder_config.max_position_embeddings までの位置埋め込みを計算するために使用されます。
• use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。

パラメータ

• input_values (torch.Tensor、shape (batch_size, audio_length)) — 生の音声波形の浮動小数点数値です。生の音声波形は、.flac または .wav のオーディオファイルを list[float] 型、numpy.ndarray 型、または torch.Tensor 型の配列として読み込むことで取得できます。例えば、torchcodec ライブラリ（pip install torchcodec）や soundfile ライブラリ（pip install soundfile）を通じて行います。input_values として配列を準備するには、パディングと torch.Tensor 型への変換のために AutoFeatureExtractor を使用してください。
• attention_mask (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
  • マスクされていないトークンに対して1
  • マスクされたトークンに対しては 0 です。

  アテンションマスクとは?

• decoder_input_ids (torch.LongTensor の形状 (batch_size, target_sequence_length), 、任意) — 語彙におけるデコーダー入力シーケンスのトークンインデックスです。

  インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

  デコーダー入力IDとは何ですか？

• decoder_attention_mask (torch.LongTensor、shape (batch_size, target_sequence_length)、任意) — 特定のトークンインデックスに対するアテンションの計算を回避するためのマスクです。デフォルトでは因果マスクが使用され、モデルが未来を予測する際に過去の入力のみを参照できるようにします。
• encoder_outputs (tuple[tuple[torch.Tensor]]、任意) — (last_hidden_state、任意: hidden_states、任意: attentions) のタプル last_hidden_state は形状 (batch_size, sequence_length, hidden_size)、任意) で、エンコーダーの最終層の出力における隠れ状態のシーケンスです。デコーダーのクロスアテンションで使用されます。
• past_key_values (~cache_utils.EncoderDecoderCache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算済みヒデンステート（セルフアテンションブロックおよびクロスアテンションブロックのキーとバリュー）。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.

  入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

  モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

  past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。

• decoder_inputs_embeds (tuple[torch.Tensor] 形状 (batch_size, target_sequence_length, hidden_size), 任意) — 任意で、 decoder_input_ids の代わりに、埋め込み表現を直接渡すこともできます。 past_key_values が使用されている場合、最後の decoder_inputs_embeds のみを入力すればよい場合があります（ past_key_values). は、 decoder_input_ids のインデックスを関連するベクトルに変換する方法を、モデル内部の埋め込み検索行列よりも細かく制御したい場合に便利です。

  decoder_input_ids と decoder_inputs_embeds の両方が設定されていない場合、decoder_inputs_embeds は inputs_embeds の値を採ります。

• decoder_position_ids (torch.LongTensor、shape (batch_size, target_sequence_length)) — 位置埋め込みにおける、各入力シーケンスのトークンの位置のインデックスです。config.decoder_config.max_position_embeddings までの位置埋め込みを計算するために使用されます。
• use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
• labels (torch.LongTensor、shape (batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベルです。インデックスは [0, ..., config.vocab_size] の範囲内であるか、-100 である必要があります（input_ids の docstring を参照）。インデックスが -100 に設定されたトークンは無視（マスク）され、損失は [0, ..., config.vocab_size] の範囲内のラベルを持つトークンに対してのみ計算されます。

パラメータ

• inputs（torch.Tensor、モダリティによって形状が異なり、省略可） — 生成のプロンプトとして使用されるシーケンス、またはエンコーダーへのモデル入力です。None の場合、bos_token_id とバッチサイズ 1 で初期化されます。デコーダー専用モデルでは、inputs は input_ids の形式である必要があります。エンコーダーデコーダーモデルでは、inputs は input_ids、input_values、input_features、または pixel_values のいずれかを表すことができます。
• generation_config (GenerationConfig、任意) — 生成呼び出しのベースパラメータ化として使用される生成設定です。**kwargs で generate に渡され、generation_config の属性と一致するものは、それらをオーバーライドします。 generation_config が指定されない場合、デフォルトが使用されます。その読み込み優先順位は以下の通りです: 1) 存在する場合、generation_config.json モデルファイルから; 2) モデル設定から。未指定のパラメータは GenerationConfig のデフォルト値を継承することに注意してください。生成をパラメータ化するには、そのドキュメントを確認する必要があります。
• logits_processor (LogitsProcessorList、省略可) — 引数や生成設定から構築されるデフォルトの logits プロセッサを補完する、カスタムの logits プロセッサです。引数や生成設定によってすでに作成済みの logits プロセッサが渡された場合、エラーが発生します。この機能は上級ユーザー向けに設計されています。
• stopping_criteria (StoppingCriteriaList、省略可) — 引数と生成設定から構築されるデフォルトの停止条件を補完する、カスタムの停止条件です。引数や生成設定からすでに作成された停止条件が渡された場合、エラーが発生します。停止条件がscores入力を参照する場合、generateにreturn_dict_in_generate=True, output_scores=Trueを渡すことを確認してください。この機能は上級ユーザー向けです。
• prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]], 省略可) — 指定された場合、この関数は各ステップにおいてビームサーチを許可されたトークンのみに制限します。指定されない場合、制限は適用されません。この関数は 2 つの引数を受け取ります: バッチ ID batch_id と input_ids です。バッチ ID batch_id と以前に生成されたトークン inputs_ids に基づいて、次の生成ステップで許可されるトークンのリストを返す必要があります。この引数は、Autoregressive Entity Retrieval に記載されているような、プレフィックスに条件付けられた制約付き生成に有用です。
• synced_gpus (bool, 省略可) — max_length まで while ループの実行を継続するかどうか。上書きされない場合、FullyShardedDataParallel または DeepSpeed ZeRO Stage 3 を複数の GPU で使用している場合は、ある GPU が他の GPU より先に生成を終了した場合のデッドロックを回避するために、このフラグは True に設定されます。それ以外の場合は、デフォルトで False になります。
• assistant_model (PreTrainedModel, 任意) — 生成を高速化するために使用できるアシスタントモデルです。アシスタントモデルは、呼び出し元のモデルと完全に同一のトークナイザーを持つ必要があります。アシスタントモデルによる候補トークンの予測が、呼び出し元のモデルで generate を実行するよりもはるかに高速な場合に、高速化が実現されます。そのため、アシスタントモデルは呼び出し元のモデルよりもはるかに小さいものである必要があります。
• streamer (BaseStreamer、任意) — 生成されたシーケンスをストリーミングするために使用される Streamer オブジェクトです。生成されたトークンは streamer.put(token_ids) を介して渡され、その後の処理はすべて streamer が担当します。
• negative_prompt_ids (torch.LongTensor、形状 (batch_size, sequence_length)、任意) — CFG などの一部のプロセッサに必要となるネガティブプロンプトです。バッチサイズは、入力バッチサイズと一致する必要があります。これは実験的な機能であり、将来のバージョンで API が破壊的に変更される可能性があります。
• negative_prompt_attention_mask (torch.LongTensor、形状 (batch_size, sequence_length)、任意) — negative_prompt_ids 用の Attention_mask です。
• custom_generate (str または Callable, 省略可) — 次のいずれか:
  • str（Hugging Face Hub リポジトリ名）: 標準の generate メソッドではなく、そのリポジトリ内の custom_generate/generate.py で定義されたカスタムの generate 関数を実行します。リポジトリが生成ロジックを完全に置き換え、戻り値の型が異なる場合があります。
  • str（ローカルリポジトリのパス）：上記と同様ですが、ローカルパスから読み込みます。ローカルディレクトリの場合も、ローカルのcustom_generate/generate.pyが実行されるため、trust_remote_code=Trueが必要です。
  • Callable: generate は通常の入力準備手順を実行し、その後、デコーディングループを実行するために指定された callable を呼び出します。詳細については、ドキュメントを参照してください。
• kwargs (dict[str, Any]、省略可) — generation_config のアドホックなパラメータ化、およびモデルの forward 関数に転送されるモデル固有の追加 kwargs です。モデルがエンコーダー・デコーダーモデルの場合、エンコーダー固有の kwargs にはプレフィックスを付与せず、デコーダー固有の kwargs には decoder_ をプレフィックスとして付与してください。