Hugging Face's logo

Transformers documentation

Pop2Piano

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model 2022-11-02 tarihinde HF papers'ta yayımlandı ve 2023-08-21 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Pop2Piano

Genel Bakış

Pop2Piano modeli, Jongho Choi ve Kyogu Lee tarafından Pop2Piano : Pop Audio-based Piano Cover Generation makalesinde önerilmiştir.

Pop müziğin piyano düzenlemeleri yaygın olarak beğenilmektedir, ancak müzikten bunları üretmek basit bir görev değildir. Bu, piyano çalmada büyük bir uzmanlık gerektirir ve şarkının farklı özelliklerini ve melodilerini bilmeyi zorunlu kılar. Pop2Piano ile bir şarkının ses dalgasından doğrudan bir düzenleme üretebilirsiniz. Bu, melodi ve akor çıkarma modülleri olmadan pop sesinden doğrudan piyano düzenlemesi üreten ilk modeldir.

Pop2Piano, T5 tabanlı bir kodlayıcı-çözücü Transformer modelidir. Girdi sesi, dalga formuna dönüştürülür ve kodlayıcıya iletilir; kodlayıcı bunu gizli bir temsil (latent representation) haline getirir. Çözücü, bu gizli temsilleri kullanarak token kimliklerini otoregresif bir şekilde üretir. Her token kimliği, zaman, hız, nota ve ‘özel’ olmak üzere dört farklı token türünden birine karşılık gelir. Token kimlikleri daha sonra eşdeğer MIDI dosyasına çözümlenir.

Makalenin özeti aşağıdaki gibidir:

Pop müziğin piyano düzenlemeleri birçok kişi tarafından beğenilmektedir. Ancak, pop müziğin piyano düzenlemelerini otomatik olarak üretme görevi hâlâ yeterince araştırılmamıştır. Bunun bir nedeni, senkronize {Pop, Piyano Düzenlemesi} veri çiftlerinin eksikliğinin, son dönemde veri yoğun derin öğrenme tabanlı yöntemlerin uygulanmasını zorlaştırmasıdır. Veri odaklı yaklaşımın gücünden yararlanmak için, otomatik bir iş akışı kullanarak büyük miktarda eşleştirilmiş ve senkronize {Pop, Piyano Düzenlemesi} verisi oluşturduk. Bu makalede, pop müziğin dalga formlarını girdi olarak alarak piyano düzenlemeleri üreten Pop2Piano adlı bir Transformer ağını sunuyoruz. Bilgimize göre, Pop2Piano, melodi ve akor çıkarma modülleri kullanmadan doğrudan pop sesinden piyano düzenlemesi üreten ilk modeldir. Veri setimizle eğitilen Pop2Piano'nun, makul piyano düzenlemeleri üretebildiğini gösteriyoruz.

Bu model Susnato Dhar tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

  • Pop2Piano'yu kullanmak için 🤗 Transformers kütüphanesinin yanı sıra aşağıdaki üçüncü taraf modüllerin kurulu olması gerekir:
pip install pretty-midi==0.2.9 essentia==2.1b6.dev1034 librosa scipy

Lütfen kurulumdan sonra çalışma zamanınızı yeniden başlatmanız gerekebileceğini unutmayın.

  • Pop2Piano, T5 gibi bir Encoder-Decoder tabanlı modeldir.
  • Pop2Piano, verilen bir ses dizisi için midi-ses dosyaları oluşturmak için kullanılabilir.
  • Pop2PianoForConditionalGeneration.generate() içinde farklı besteciler seçmek, farklı sonuçların çeşitliliğine yol açabilir.
  • Ses dosyasını yüklerken örneklem hızını 44,1 kHz olarak ayarlamak iyi performans sağlayabilir.
  • Pop2Piano ağırlıklı olarak Kore Pop müziği üzerinde eğitilmiş olsa da, diğer Batı Pop veya Hip Hop şarkılarında da oldukça iyi performans gösterir.

Örnekler

  • HuggingFace Dataset kullanılarak örnek:
from datasets import load_dataset

from transformers import Pop2PianoForConditionalGeneration, Pop2PianoProcessor


model = Pop2PianoForConditionalGeneration.from_pretrained("sweetcocoa/pop2piano", device_map="auto")
processor = Pop2PianoProcessor.from_pretrained("sweetcocoa/pop2piano")
ds = load_dataset("sweetcocoa/pop2piano_ci", split="test")

inputs = processor(
    audio=ds["audio"][0]["array"], sampling_rate=ds["audio"][0]["sampling_rate"], return_tensors="pt"
)
model_output = model.generate(input_features=inputs["input_features"], composer="composer1")
tokenizer_output = processor.batch_decode(
    token_ids=model_output, feature_extractor_output=inputs
)["pretty_midi_objects"][0]
tokenizer_output.write("./Outputs/midi_output.mid")
  • Kendi ses dosyanızı kullanarak örnek:
import librosa

from transformers import Pop2PianoForConditionalGeneration, Pop2PianoProcessor


audio, sr = librosa.load("<your_audio_file_here>", sr=44100)  # feel free to change the sr to a suitable value.
model = Pop2PianoForConditionalGeneration.from_pretrained("sweetcocoa/pop2piano", device_map="auto")
processor = Pop2PianoProcessor.from_pretrained("sweetcocoa/pop2piano")

inputs = processor(audio=audio, sampling_rate=sr, return_tensors="pt").to(model.device)
model_output = model.generate(input_features=inputs["input_features"], composer="composer1")
tokenizer_output = processor.batch_decode(
    token_ids=model_output, feature_extractor_output=inputs
)["pretty_midi_objects"][0]
tokenizer_output.write("./Outputs/midi_output.mid")
  • Toplu olarak birden çok ses dosyası işleme örneği:
import librosa

from transformers import Pop2PianoForConditionalGeneration, Pop2PianoProcessor


# feel free to change the sr to a suitable value.
audio1, sr1 = librosa.load("<your_first_audio_file_here>", sr=44100)
audio2, sr2 = librosa.load("<your_second_audio_file_here>", sr=44100)
model = Pop2PianoForConditionalGeneration.from_pretrained("sweetcocoa/pop2piano", device_map="auto")
processor = Pop2PianoProcessor.from_pretrained("sweetcocoa/pop2piano")

inputs = processor(audio=[audio1, audio2], sampling_rate=[sr1, sr2], return_attention_mask=True, return_tensors="pt").to(model.device)
# Since we now generating in batch(2 audios) we must pass the attention_mask
model_output = model.generate(
    input_features=inputs["input_features"],
    attention_mask=inputs["attention_mask"],
    composer="composer1",
)
tokenizer_output = processor.batch_decode(
    token_ids=model_output, feature_extractor_output=inputs
)["pretty_midi_objects"]

# Since we now have 2 generated MIDI files
tokenizer_output[0].write("./Outputs/midi_output1.mid")
tokenizer_output[1].write("./Outputs/midi_output2.mid")
  • Toplu olarak birden çok ses dosyası işleme örneği (Pop2PianoFeatureExtractor ve Pop2PianoTokenizer kullanılarak):
import librosa

from transformers import Pop2PianoFeatureExtractor, Pop2PianoForConditionalGeneration, Pop2PianoTokenizer


# feel free to change the sr to a suitable value.
audio1, sr1 = librosa.load("<your_first_audio_file_here>", sr=44100)
audio2, sr2 = librosa.load("<your_second_audio_file_here>", sr=44100)
model = Pop2PianoForConditionalGeneration.from_pretrained("sweetcocoa/pop2piano", device_map="auto")
feature_extractor = Pop2PianoFeatureExtractor.from_pretrained("sweetcocoa/pop2piano")
tokenizer = Pop2PianoTokenizer.from_pretrained("sweetcocoa/pop2piano")

inputs = feature_extractor(
    audio=[audio1, audio2],
    sampling_rate=[sr1, sr2],
    return_attention_mask=True,
    return_tensors="pt",
)
# Since we now generating in batch(2 audios) we must pass the attention_mask
model_output = model.generate(
    input_features=inputs["input_features"],
    attention_mask=inputs["attention_mask"],
    composer="composer1",
)
tokenizer_output = tokenizer.batch_decode(
    token_ids=model_output, feature_extractor_output=inputs
)["pretty_midi_objects"]

# Since we now have 2 generated MIDI files
tokenizer_output[0].write("./Outputs/midi_output1.mid")
tokenizer_output[1].write("./Outputs/midi_output2.mid")

Pop2PianoConfig

sınıf transformers.Pop2PianoConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truevocab_size: int = 2400composer_vocab_size: int = 21d_model: int = 512d_kv: int = 64d_ff: int = 2048num_layers: int = 6num_decoder_layers: int | None = Nonenum_heads: int = 8relative_attention_num_buckets: int = 32relative_attention_max_distance: int = 128dropout_rate: float | int = 0.1layer_norm_epsilon: float = 1e-06initializer_factor: float = 1.0feed_forward_proj: str = 'gated-gelu'use_cache: bool = Truepad_token_id: int | None = 0eos_token_id: int | list[int] | None = 1dense_act_fn: str = 'relu'is_decoder: bool = Falsetie_word_embeddings: bool = True )

Parametreler

  • is_encoder_decoder (bool, isteğe bağlı, varsayılan True) — Modelin bir kodlayıcı/çözücü olarak kullanılıp kullanılmadığı.
  • vocab_size (int, isteğe bağlı, varsayılan 2400) — Modelin sözlük boyutu. input_ids ile temsil edilebilecek farklı token sayısını belirler.
  • composer_vocab_size (int, isteğe bağlı, varsayılan 21) — Bestecilerin sayısını belirtir.
  • d_model (int, isteğe bağlı, varsayılan 512) — Kodlayıcı katmanlarının ve pooler katmanının boyutu.
  • d_kv (int, isteğe bağlı, varsayılan 64) — Dikkat başı başına anahtar, sorgu ve değer projeksiyonlarının boyutu. Projeksiyon katmanının inner_dim değeri num_heads * d_kv olarak tanımlanır.
  • d_ff (int, isteğe bağlı, varsayılan 2048) — MLP temsillerinin boyutu.
  • num_layers (int, isteğe bağlı, varsayılan 6) — Transformer çözücüdeki gizli katman sayısı.
  • num_decoder_layers (int, isteğe bağlı) — Transformer decoder'ındaki gizli katman sayısı. Ayarlanmazsa num_layers ile aynı değer kullanılır.
  • num_heads (int, isteğe bağlı, varsayılan 8) — Transformer decoder'ındaki her dikkat katmanı için dikkat başlığı sayısı.
  • relative_attention_num_buckets (int, isteğe bağlı, varsayılan 32) — Her dikkat katmanı için kullanılacak sepet sayısı.
  • relative_attention_max_distance (int, isteğe bağlı, varsayılan 128) — Sepet ayrımı için daha uzun dizilerin maksimum mesafesi.
  • dropout_rate (Union[float, int], isteğe bağlı, varsayılan 0.1) — Tüm dropout katmanları için oran.
  • layer_norm_epsilon (float, isteğe bağlı, varsayılan 1e-06) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • initializer_factor (float, isteğe bağlı, varsayılan 1.0) — Tüm ağırlık matrislerini başlatmak için kullanılan bir çarpan (1 olarak tutulmalıdır, başlatma testleri için dahili olarak kullanılır).
  • feed_forward_proj (string, isteğe bağlı, varsayılan "gated-gelu") — Kullanılacak feed forward katmanının türü. "relu" veya "gated-gelu" değerlerinden biri olmalıdır.
  • use_cache (bool, isteğe bağlı, varsayılan True) — Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceği. Yalnızca config.is_decoder=True olduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir.
  • pad_token_id (int, isteğe bağlı, varsayılan 0) — Sözlükte dolgu için kullanılan token kimliği.
  • eos_token_id (Union[int, list[int]], isteğe bağlı, varsayılan 1) — Sözlükte akış sonu için kullanılan token kimliği.
  • dense_act_fn (string, isteğe bağlı, varsayılan "relu") — Pop2PianoDenseActDense ve Pop2PianoDenseGatedActDense içinde kullanılacak Aktivasyon Fonksiyonu türü.
  • is_decoder (bool, isteğe bağlı, varsayılan False) — Modelin bir decoder olarak kullanılıp kullanılmadığı. False ise model bir encoder olarak kullanılır.
  • tie_word_embeddings (bool, isteğe bağlı, varsayılan True) — Modelin tied_weights_keys eşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.

Bu, bir Pop2PianoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pop2Piano modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, sweetcocoa/pop2piano ile benzer bir yapılandırmaya yol açar.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Pop2PianoFeatureExtractor

sınıf transformers.Pop2PianoFeatureExtractor

< >

( sampling_rate: int = 22050padding_value: int = 0window_size: int = 4096hop_length: int = 1024min_frequency: float = 10.0feature_size: int = 512num_bars: int = 2**kwargs )

Parametreler

  • sampling_rate (int, isteğe bağlı, varsayılan 22050) — Ses sinyalinin hedef örnekleme hızı. Modelin kendisine ilettiğimiz örnekleme hızıdır.
  • padding_value (int, isteğe bağlı, varsayılan 0) — Sesin dolgu işlemi için kullanılan dolgu değeri. Sessizliklere karşılık gelmelidir.
  • window_size (int, isteğe bağlı, varsayılan 4096) — Fourier dönüşümünün uygulandığı pencerenin örnek cinsinden uzunluğu.
  • hop_length (int, isteğe bağlı, varsayılan 1024) — Dalga formunun her penceresi arasındaki adım boyutu, örnek cinsinden.
  • min_frequency (float, isteğe bağlı, varsayılan 10.0) — Log-mel spektrogramda kullanılacak en düşük frekans.
  • feature_size (int, isteğe bağlı, varsayılan 512) — Çıkarılan özelliklerin boyutu.
  • num_bars (int, isteğe bağlı, varsayılan 2) — Her dizi arasındaki aralığı belirler.

Bir Pop2Piano özellik çıkarıcısı oluşturur.

Bu özellik çıkarıcı, ana yöntemlerin çoğunu içeren SequenceFeatureExtractor sınıfından devralır. Kullanıcıların bu yöntemler hakkında daha fazla bilgi için bu üst sınıfa başvurması gerekir.

Bu sınıf, sesin modele iletilmeden önce ritmi çıkarır ve sesi ön işler. Önce ses, beat_times, beat konumlarını ve bunların güven düzeyini ayrıca bpm cinsinden tempo tahminini çıkaran RhythmExtractor2013 algoritmasına iletilir; ardından beat_times, beatsteps elde etmek için interpolasyonla işlenir. Daha sonra tokenizer'da kullanılmak üzere bu değerlerden extrapolated_beatsteps hesaplanır. Öte yandan ses, self.sampling_rate değerine yeniden örneklenir ve ön işlenir; ardından transformer modelimizde kullanılmak üzere log mel spektrogram bu veriden hesaplanır.

__call__

< >

( audio: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]]sampling_rate: int | list[int]steps_per_beat: int = 2resample: bool | None = Truereturn_attention_mask: bool | None = Falsereturn_tensors: str | transformers.utils.generic.TensorType | None = None**kwargs )

Parametreler

  • audio (np.ndarray, List) — İşlenecek ses veya ses partisi. Her ses, bir numpy dizisi, bir float değerleri listesi, bir numpy dizileri listesi veya float değerleri listelerinin listesi olabilir.
  • sampling_rate (int) — audio girdisinin örneklenmiş olduğu örneklem hızı. Sessiz hataları önlemek için sampling_rate değerini forward çağrısında geçmeniz şiddetle önerilir.
  • steps_per_beat (int, isteğe bağlı, varsayılan 2) — Bu, beat_times değerlerinin interpolasyonunda kullanılır.
  • resample (bool, isteğe bağlı, varsayılan True) — İşlemden önce sesin sampling_rate değerine yeniden örneklenip örneklenmeyeceğini belirler. Çıkarım sırasında True olmalıdır.
  • return_attention_mask (bool isteğe bağlı, varsayılan False) — input_features, beatsteps ve extrapolated_beatstep için attention_mask'ın çıktı olarak verileceğini belirtir. Toplu (batched) girdiler için otomatik olarak True olarak ayarlanır.
  • return_tensors (str veya TensorType, isteğe bağlı) — Belirlenirse, Python tamsayı listesi yerine tensörler döndürülür. Kabul edilen değerler şunlardır:
    • 'pt': PyTorch torch.Tensor nesnelerini döndürür.
    • 'np': Numpy np.ndarray nesnelerini döndürür. Hiçbir şey belirtilmezse, np.ndarray dizilerinin listesini döndürür.

Model için özellik çıkarma ve hazırlama işlemini gerçekleştiren ana yöntem.

Pop2PianoForConditionalGeneration

sınıf transformers.Pop2PianoForConditionalGeneration

< >

( config: Pop2PianoConfig )

Parametreler

  • config (Pop2PianoConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Üzerinde language modeling başlığı bulunan Pop2Piano Modeli.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.BoolTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneinput_features: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Seq2SeqLMOutput or tuple(torch.Tensor)

Parametreler

  • input_ids (torch.LongTensor, şekli (batch_size, sequence_length)) — Sözlükteki girdi dizisi tokenlarının indeksleri. Pop2Piano, göreli konum gömme (relative position embeddings) kullanan bir model olduğundan girdileri hem sağdan hem de soldan doldurabilirsiniz (padding). İndeksler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() yöntemlerine bakın. Girdi kimlikları (input IDs) nedir? Ön eğitim için input_ids nasıl hazırlanacağına dair daha fazla bilgi için Pop2Piano Eğitim bölümüne göz atın.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • decoder_input_ids (torch.LongTensor, şekli (batch_size, target_sequence_length), isteğe bağlı) — Sözlükte decoder giriş dizisi tokenlarının indeksleri. İndeksler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() yöntemlerine bakın. Decoder giriş ID'leri nelerdir? Pop2Piano, decoder_input_ids üretimi için başlangıç tokenı olarak pad_token_id kullanır. past_key_values kullanılıyorsa, isteğe bağlı olarak yalnızca son decoder_input_ids girdi olarak verilmelidir (bkz. past_key_values). Hazırlama
  • decoder_attention_mask (torch.BoolTensor, şekli (batch_size, target_sequence_length), isteğe bağlı) — Varsayılan davranış: decoder_input_ids içindeki pad tokenlarını yok sayan bir tensör oluşturur. Varsayılan olarak nedensel maske de kullanılır.
  • encoder_outputs (tuple[tuple[torch.Tensor]], isteğe bağlı) — (last_hidden_state, isteğe bağlı: hidden_states, isteğe bağlı: attentions) içeren bir tuple last_hidden_state, (batch_size, sequence_length, hidden_size) boyutunda, isteğe bağlı) encoder'ın son katmanının çıktısındaki gizli durumlar dizisidir. Decoder'ın çapraz dikkat (cross-attention) mekanizmasında kullanılır.
  • past_key_values (~cache_utils.Cache, isteğe bağlı) — Sıralı çözümlemeyi hızlandırmak için kullanılabilen önceden hesaplanmış gizli durumlar (self-attention ve cross-attention bloklarındaki anahtar ve değerler). Bu genellikle past_key_values değerinin, çözümlemenin önceki bir aşamasında model tarafından döndürülen use_cache=True veya config.use_cache=True.

    Girdi olarak yalnızca Cache örneği kabul edilir, kv cache kılavuzumuza bakın. past_key_values geçirilmezse, varsayılan olarak DynamicCache başlatılır.

    Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretecektir.

    past_key_values kullanılıyorsa, kullanıcının tüm input_ids (şekli (batch_size, sequence_length)) yerine, bu modele geçmiş anahtar değer durumları verilmemiş olan, işlenmemiş input_ids (şekli (batch_size, unprocessed_length)) girmesi beklenir.

  • inputs_embeds (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak, input_ids yerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu, input_ids dizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır.
  • input_features (torch.Tensor, şekli (batch_size, sequence_length, feature_dim), isteğe bağlı) — Giriş ses özelliklerine karşılık gelen tensörler. Ses özellikleri Pop2PianoFeatureExtractor kullanılarak elde edilebilir. Ayrıntılar için Pop2PianoFeatureExtractor.call() bölümüne bakın (Pop2PianoProcessor, sesleri işlemek için Pop2PianoFeatureExtractor kullanır).
  • decoder_inputs_embeds (torch.Tensor şeklinde (batch_size, target_sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak, decoder_input_ids geçirmek yerine gömülü bir temsil doğrudan geçirebilirsiniz. Eğer past_key_values kullanılıyorsa, isteğe bağlı olarak yalnızca son decoder_inputs_embeds girdi olarak verilmelidir (bkz. past_key_values). Bu, modelin dahili gömme arama matrisine kıyasla decoder_input_ids endekslerini ilgili vektörlere dönüştürme biçimi üzerinde daha fazla kontrol sağlamak istiyorsanız faydalıdır.

    decoder_input_ids ve decoder_inputs_embeds her ikisi de ayarlanmamışsa, decoder_inputs_embeds inputs_embeds değerini alır.

  • labels (torch.LongTensor, şekli (batch_size,), isteğe bağlı) — Sınıflandırma/geri dönüş kaybını hesaplamak için etiketler. Endeksler [-100, 0, ..., config.vocab_size - 1] aralığında olmalıdır. -100 olarak ayarlanan tüm etiketler yok sayılır (maskelenir); kayıp yalnızca [0, ..., config.vocab_size] aralığındaki etiketler için hesaplanır.
  • use_cache (bool, isteğe bağlı) — True olarak ayarlanırsa, past_key_values anahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz. past_key_values).

Dönüş değeri

Seq2SeqLMOutput veya tuple(torch.Tensor)

Bir Seq2SeqLMOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (Pop2PianoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

Pop2PianoForConditionalGeneration forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.Tensor, şekli (1,), isteğe bağlı, labels sağlandığında döndürülür) — Dil modelleme kaybı.

  • logits (torch.Tensor, şekli (batch_size, sequence_length, config.vocab_size)) — Dil modelleme başlığının tahmin puanları (SoftMax öncesi her sözlük jetonu için puanlar).

  • past_key_values (EncoderDecoderCache, isteğe bağlı, use_cache=True geçirildiğinde veya config.use_cache=True olduğunda döndürülür) — Bir EncoderDecoderCache örneğidir. Daha fazla ayrıntı için kv önbellek kılavuzumuza bakın.

    Sıralı çözümlemeyi hızlandırmak için (bkz. past_key_values girdisi) kullanılabilen, önceden hesaplanmış gizli durumları (self-attention bloklarındaki ve cross-attention bloklarındaki anahtar ve değerler) içerir.

  • decoder_hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında ve başlangıç gömme çıktılarında dekodlayıcının gizli durumları.

  • decoder_attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat ağırlıkları, dikkat softmax'ından sonra, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan dekoderin

  • cross_attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — (batch_size, num_heads, sequence_length, sequence_length) biçiminde, her katman için bir adet içeren torch.Tensor demeti.

    Dekoderin çapraz dikkat katmanının dikkat ağırlıkları, dikkat softmax'ından sonra, çapraz dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

  • encoder_last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin kodlayıcısının son katmanının çıktısındaki gizli durumlar dizisi.

  • encoder_hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında ve başlangıç gömme çıktılarında kodlayıcının gizli durumları.

  • encoder_attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat yumuşatma (attention softmax) sonrasında, öz-dikkat (self-attention) kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılan kodlayıcının dikkat ağırlıkları.

Örnek:

>>> from transformers import AutoProcessor, Pop2PianoForConditionalGeneration
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("sweetcocoa/pop2piano")
>>> model = Pop2PianoForConditionalGeneration.from_pretrained("sweetcocoa/pop2piano")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...

generate

< >

( input_featuresattention_mask = Nonecomposer = 'composer1'generation_config = None**kwargs ) → ModelOutput or torch.LongTensor

Parametreler

  • input_features (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Bu, Pop2PianoFeatureExtractor tarafından üretilen sesin özelliklendirilmiş halidir.
  • attention_mask — Toplu üretim için input_features tüm örneklerde aynı şekle sahip olacak şekilde dolgu yapılır. attention_mask hangi alanların doldurulduğunu ve hangilerinin doldurulmadığını belirlemeye yardımcı olur.
    • 1, padding yapılmamış tokenlar için,
    • padding yapılmış tokenlar için 0.
  • composer (str, isteğe bağlı, varsayılan "composer1") — Bu değer, her "composer" için farklı gömme (embedding) üretmek üzere Pop2PianoConcatEmbeddingToMel sınıfına iletilir. Lütfen composer değerinin generation_config içindeki composer_to_feature_token sözlüğünde bulunduğundan emin olun. Örnek için bkz. https://huggingface.co/sweetcocoa/pop2piano/blob/main/generation_config.json .
  • generation_config (~generation.GenerationConfig, isteğe bağlı) — Üretim çağrısı için temel parametrelendirme olarak kullanılacak üretim yapılandırması. **kwargs generate'e aktarılan ve generation_config öznitelikleriyle eşleşenler bunları geçersiz kılar. generation_config sağlanmazsa, varsayılanı kullanılır; bunun yükleme önceliği şudur: 1) varsa generation_config.json model dosyasından; 2) model yapılandırmasından. Belirtilmeyen parametrelerin GenerationConfig'in varsayılan değerlerini devraldığını ve üretimi parametrelendirmek için belgesinin kontrol edilmesi gerektiğini lütfen unutmayın.
  • kwargs — generate_config için ad hoc parametrelendirme ve/veya modelin forward fonksiyonuna iletilecek ek model-özel kwargs'lar. Model bir encoder-decoder modeli ise, encoder'a özgü kwargs'lar öneklenmemeli, decoder'a özgü kwargs'lar ise decoder_ önekiyle başlamalıdır.

Dönüş değeri

ModelOutput veya torch.LongTensor

Bir ModelOutput (return_dict_in_generate=True olduğunda veya config.return_dict_in_generate=True olduğunda) ya da bir torch.Tensor. Pop2Piano bir kodlayıcı-çözücü modeli olduğundan (model.config.is_encoder_decoder=True), olası ModelOutput türleri şunlardır:

Midi çıktıları için token kimlikleri üretir.

Çoğu üretim kontrol parametresi, generation_config içinde ayarlanır; bu parametre geçirilmezse, modelin varsayılan üretim yapılandırması kullanılır. generation_config içindeki herhangi bir değeri, generate() fonksiyonuna ilgili parametreleri geçirerek geçersiz kılabilirsiniz, örneğin .generate(inputs, num_beams=4, do_sample=True). Üretim stratejileri ve kod örnekleri için bu kılavuza göz atın.

Pop2PianoTokenizer

sınıf transformers.Pop2PianoTokenizer

< >

( vocabdefault_velocity = 77num_bars = 2unk_token = '-1'eos_token = '1'pad_token = '0'bos_token = '2'**kwargs )

Parametreler

  • vocab (str) — Sözlüğü içeren sözlük dosyasının yolu.
  • default_velocity (int, isteğe bağlı, varsayılan 77) — midi Notları oluşturulurken kullanılacak varsayılan hızı belirler.
  • num_bars (int, isteğe bağlı, varsayılan 2) — Her token için cutoff_time_idx değerini belirler.
  • unk_token (str veya tokenizers.AddedToken, isteğe bağlı, varsayılan "-1") — Bilinmeyen token. Sözlükte yer almayan bir token, bir kimliğe dönüştürülemez ve bunun yerine bu token olarak ayarlanır.
  • eos_token (str veya tokenizers.AddedToken, isteğe bağlı, varsayılan 1) — Dizi sonu belirteci.
  • pad_token (str veya tokenizers.AddedToken, isteğe bağlı, varsayılan 0) — Toplu işlem (batching) amacıyla token dizilerini aynı boyuta getirmek için kullanılan özel bir token. Dikkat (attention) mekanizmaları veya kayıp (loss) hesaplaması tarafından yok sayılır.
  • bos_token (str veya tokenizers.AddedToken, opsiyonel, varsayılan 2) — Ön eğitim sırasında kullanılan dizinin başlangıcı token'ı. Bir dizi sınıflandırıcı token'ı olarak kullanılabilir.

Bir Pop2Piano sınıflandırıcısı oluşturur. Bu sınıflandırıcı eğitim gerektirmez.

Bu tokenizer, ana yöntemlerin çoğunu içeren PreTrainedTokenizer sınıfından devralır. Kullanıcıların bu yöntemler hakkında daha fazla bilgi için bu üst sınıfa başvurması gerekir.

__call__

< >

( notes: numpy.ndarray | list[pretty_midi.Note] | list[list[pretty_midi.Note]]padding: bool | str | transformers.utils.generic.PaddingStrategy = Falsetruncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy | None = Nonemax_length: int | None = Nonepad_to_multiple_of: int | None = Nonereturn_attention_mask: bool | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Noneverbose: bool = True**kwargs )

Parametreler

  • notes (numpy.ndarray şeklinde [batch_size, max_sequence_length, 4] veya list türünde pretty_midi.Note nesneler) — Bu, midi notalarını temsil eder.

    notes bir numpy.ndarray ise:

    • Her dizi 4 değer içermelidir: onset idx, offset idx, pitch ve velocity. notes, pretty_midi.Note nesneleri içeren bir list ise:
    • Her dizinin 4 özniteliği olmalıdır: start, end, pitch ve velocity.
  • padding (bool, str veya PaddingStrategy, isteğe bağlı, varsayılan olarak False) — Dolgu işlemini etkinleştirir ve kontrol eder. Aşağıdaki değerleri kabul eder:
    • True veya 'longest': Toplu işlemdeki en uzun dizinin uzunluğuna kadar dolgu yapılır (yalnızca tek bir dizi sağlandıysa dolgu yapılmaz).
    • 'max_length': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum giriş uzunluğuna kadar doldurur.
    • False veya 'do_not_pad' (varsayılan): Dolgu yok (yani, farklı uzunluklarda diziler içeren bir parti çıktı olarak üretilebilir).
  • truncation (bool, str veya TruncationStrategy, isteğe bağlı, varsayılan olarak False) — Kesmeyi (truncation) etkinleştirir ve kontrol eder. Aşağıdaki değerleri kabul eder:
    • True veya 'longest_first': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum giriş uzunluğuna kısaltılır. Bu işlem, token bazında kısaltma yapar; bir çift dizi (veya çift dizilerden oluşan bir batch) sağlandığında, çiftteki en uzun diziden bir token kaldırılır.
    • 'only_first': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum giriş uzunluğuna kısaltır. Bir çift dizi (veya çiftlerin bir partisi) sağlandığında, yalnızca çiftin ilk dizisini kısaltır.
    • 'only_second': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum girdi uzunluğuna kısaltılır. Bu, bir dizi çifti (veya çiftlerin bir partisi) sağlandığında yalnızca çiftin ikinci dizisini kısaltır.
    • False veya 'do_not_truncate' (varsayılan): Kesme yapılmaz (yani, modelin kabul edebileceği maksimum giriş boyutundan daha uzun dizi uzunluklarına sahip bir çıktı partisi üretilebilir).
  • max_length (int, isteğe bağlı) — Kesme/doldurma parametrelerinden birinin kullanacağı maksimum uzunluğu kontrol eder. Ayarlanmaz veya None olarak ayarlanırsa, kesme/doldurma parametrelerinden biri maksimum uzunluk gerektiriyorsa, önceden tanımlanmış modelin maksimum uzunluğu kullanılır. Modelin belirli bir maksimum giriş uzunluğu yoksa (XLNet gibi), maksimum uzunluğa kesme/doldurma işlemi devre dışı bırakılır.
  • pad_to_multiple_of (int, isteğe bağlı) — Belirlenirse, diziyi verilen değerin katına kadar doldurur. Bu, hesaplama yeteneği >= 7.5 (Volta) olan NVIDIA donanımlarında Tensor Cores kullanımını etkinleştirmek için özellikle faydalıdır.
  • return_attention_mask (bool, isteğe bağlı) — Dikkat maskesinin (attention mask) döndürülüp döndürülmeyeceğini belirtir. Varsayılan bırakılırsa, ilgili tokenizer'ın varsayılanına göre dikkat maskesini döndürür; bu, return_outputs özniteliği ile tanımlanır.

    Dikkat maskeleri nedir?

  • return_tensors (str veya TensorType, isteğe bağlı) — Belirlenirse, Python tamsayı listesi yerine tensörler döndürülür. Kabul edilen değerler şunlardır:
    • 'pt': PyTorch torch.Tensor nesnelerini döndürür.
    • 'np': Numpy np.ndarray nesnelerini döndürür.
  • verbose (bool, isteğe bağlı, varsayılan True) — Daha fazla bilgi ve uyarı basılıp basılmayacağı.

Bu, Pop2PianoTokenizer için __call__ yöntemidir. MIDI notalarını, transformer tarafından üretilen token kimliklerine dönüştürür.

Pop2PianoProcessor

sınıf transformers.Pop2PianoProcessor

< >

( feature_extractortokenizer )

Parametreler

  • feature_extractor (Pop2PianoFeatureExtractor) — Özellik çıkarıcı zorunlu bir girdidir.
  • tokenizer (tokenizer_class) — Tokenizer zorunlu bir girdidir.

Bir özellik çıkarıcıyı ve bir belirteçleyiciyi tek bir işlemciye saran bir Pop2PianoProcessor oluşturur.

Pop2PianoProcessor, Pop2PianoFeatureExtractor ve tokenizer_class sınıflarının tüm işlevlerini sunar. Daha fazla bilgi için ~Pop2PianoFeatureExtractor ve ~tokenizer_class belgelerini inceleyin.

__call__

< >

( audio: numpy.ndarray | list[float] | list[numpy.ndarray] = Nonesampling_rate: int | list[int] | None = Nonesteps_per_beat: int = 2resample: bool | None = Truenotes: list | transformers.utils.generic.TensorType = Nonepadding: bool | str | transformers.utils.generic.PaddingStrategy = Falsetruncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy = Nonemax_length: int | None = Nonepad_to_multiple_of: int | None = Noneverbose: bool = True**kwargs )

Parametreler

  • audio (Union[numpy.ndarray, list[float], list[numpy.ndarray]], isteğe bağlı) — Hazırlanacak ses veya sesler partisi. Her ses, bir NumPy dizisi veya PyTorch tensörü olabilir. NumPy dizisi/PyTorch tensörü durumunda, her sesin şekli (C, T) olmalıdır; burada C kanal sayısı, T ise sesin örnek uzunluğudur.
  • sampling_rate (int veya list[int], isteğe bağlı) — Giriş sesinin Hz cinsinden örneklem hızı. Bu değer, özellik çıkarıcının kullandığı örneklem hızıyla eşleşmelidir. Verilmezse, işlemci yapılandırmasındaki varsayılan örneklem hızı kullanılır.
  • steps_per_beat (int, isteğe bağlı, varsayılan 2) — Müzikal bir vuruş başına zaman adımı sayısı. Bu parametre, müzikal temsilin zamansal çözünürlüğünü kontrol eder. Daha yüksek bir değer, daha ince zamansal bir granülerlik sağlar ancak dizi uzunluğunu artırır. Müzikal özellikleri çıkarmak için ses işlenirken kullanılır.
  • resample (bool, isteğe bağlı, varsayılan True) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlandığında etkilidir.
  • notes (list veya TensorType, isteğe bağlı) — MIDI biçiminde önceden çıkarılmış müzik notaları. Sağlandığında, işlemci ses özellik çıkarımını atlar ve notaları doğrudan belirteçleştirici (tokenizer) üzerinden işler. Her nota, perde, hız ve zamanlama bilgilerini içeren bir liste veya tensör olarak temsil edilmelidir.
  • padding (bool, str veya PaddingStrategy, isteğe bağlı, varsayılanı False) — Doldurmayı (padding) etkinleştirir ve kontrol eder. Aşağıdaki değerleri kabul eder:
    • True veya 'longest': Toplu işlemdeki en uzun dizinin uzunluğuna kadar dolgu yapılır (yalnızca tek bir dizi sağlanırsa dolgu yapılmaz).
    • 'max_length': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum giriş uzunluğuna kadar doldurur.
    • False veya 'do_not_pad' (varsayılan): Dolgu yok (yani, farklı uzunluklarda diziler içeren bir parti çıktı olarak üretilebilir).
  • truncation (bool, str veya TruncationStrategy, isteğe bağlı) — Kesmeyi (truncation) etkinleştirir ve kontrol eder. Aşağıdaki değerleri kabul eder:
    • True veya 'longest_first': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum giriş uzunluğuna kısaltılır. Bu işlem, token bazında kısaltma yapar; bir çift dizi (veya çift dizilerden oluşan bir batch) sağlandığında, çiftteki en uzun diziden bir token kaldırılır.
    • 'only_first': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum giriş uzunluğuna kısaltır. Bir çift dizi (veya çiftlerin bir partisi) sağlandığında, yalnızca çiftin ilk dizisini kısaltır.
    • 'only_second': max_length argümanı ile belirtilen maksimum uzunluğa veya bu argüman sağlanmadıysa modelin kabul edebileceği maksimum girdi uzunluğuna kısaltılır. Bu, bir dizi çifti (veya çiftlerin bir partisi) sağlandığında yalnızca çiftin ikinci dizisini kısaltır.
    • False veya 'do_not_truncate' (varsayılan): Kesme yapılmaz (yani, modelin kabul edebileceği maksimum giriş boyutundan daha uzun dizi uzunluklarına sahip bir çıktı partisi üretilebilir).
  • max_length (int, isteğe bağlı) — Bir kesme/doldurma parametresi tarafından kullanılacak maksimum uzunluğu kontrol eder.

    Eğer ayarlanmazsa veya None olarak ayarlanırsa, kırpma/dolgu parametrelerinden biri tarafından bir maksimum uzunluk gerekiyorsa, bu, önceden tanımlanmış modelin maksimum uzunluğunu kullanır. Modelin belirli bir maksimum giriş uzunluğu yoksa (XLNet gibi), maksimum uzunluğa kırpma/dolgu devre dışı bırakılır.

  • pad_to_multiple_of (int, isteğe bağlı) — Belirlenirse, diziyi verilen değerin katına kadar doldurur. Bunun için padding etkinleştirilmelidir. Bu, hesaplama yeteneği >= 7.5 (Volta) olan NVIDIA donanımlarında Tensor Çekirdeklerinin kullanılmasını sağlamak için özellikle faydalıdır.
  • verbose (bool, isteğe bağlı, varsayılan True) — Daha fazla bilgi ve uyarı basılıp basılmayacağı.
  • return_tensors (str veya TensorType, isteğe bağlı) — Belirlenirse, belirli bir çerçeveye ait tensörler döndürülür. Kabul edilen değerler şunlardır:
    • 'pt': PyTorch torch.Tensor nesnelerini döndürür.
    • 'np': NumPy np.ndarray nesnelerini döndürür.
Update on GitHub

←Pocket TTS Audio Tokenizer Qwen3 ASR→