# ESMC

## Genel Bakış

ESMC (ESM Cambrian), [BioHub](https://biohub.org/) tarafından yayımlanan bir protein dil modeli ailesidir. Amino asit dizileri üzerinde maskeli dil modelleme hedefiyle eğitilmiş çift yönlü bir Transformer kodlayıcısıdır. [ESM-2](./esm) gibi, ESMC de aşağı akışlı protein modelleme görevleri için faydalı olan rezidü başına temsiller üretir.

ESMC, protein sınıflandırma veya token sınıflandırma görevlerinde ince ayar için uygundur. Ayrıca, katlama başlığına girdi olarak kullanılan temsilleri üreten [ESMFold2](./esmfold2)'nin omurgası olarak da kullanılır.

Önceden eğitilmiş denetim noktaları Hugging Face Hub'da mevcuttur:

- [`biohub/ESMC-300M`](https://huggingface.co/biohub/ESMC-300M)
- [`biohub/ESMC-600M`](https://huggingface.co/biohub/ESMC-600M)
- [`biohub/ESMC-6B`](https://huggingface.co/biohub/ESMC-6B)

## Kullanım örneği

ESMC, otomatik sınıflara (`AutoModel`, `AutoModelForMaskedLM`, `AutoModelForSequenceClassification`, `AutoModelForTokenClassification`) kayıtlıdır.

```python
import torch
from transformers import pipeline

extractor = pipeline(
    task="feature-extraction",
    model="biohub/ESMC-300M",
)
# Per-residue representations of shape (batch, sequence_length, hidden_size).
representations = extractor("MKTAYIAKQRQISFVKSHFSRQLEERLGLIEVQ", return_tensors="pt")
```

```python
import torch
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M")
model = AutoModel.from_pretrained("biohub/ESMC-300M")

inputs = tokenizer("MKTAYIAKQRQISFVKSHFSRQLEERLGLIEVQ", return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

# Per-residue representations of shape (batch, sequence_length, hidden_size).
representations = outputs.last_hidden_state
```

## EsmcConfig[[transformers.EsmcConfig]]

#### transformers.EsmcConfig[[transformers.EsmcConfig]]

```python
transformers.EsmcConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 64, hidden_size: int = 2560, intermediate_size: int = 6912, num_hidden_layers: int = 80, num_attention_heads: int = 40, num_key_value_heads: int | None = None, hidden_act: str = 'silu', max_position_embeddings: int = 2048, initializer_range: float = 0.02, pad_token_id: int | None = 1, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, attention_dropout: int | float | None = 0.0, mlp_bias: bool = False, head_dim: int | None = None, mask_token_id: int | None = 32, classifier_dropout: float | None = 0.1)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/configuration_esmc.py#L30)

**Parametreler:**

vocab_size (*int*, *optional*, varsayılan *64*) : Modelin sözlük boyutu. *input_ids* tarafından temsil edilebilecek farklı token sayısını tanımlar.

hidden_size (*int*, *optional*, varsayılan *2560*) : Gizli temsillerin boyutu.

intermediate_size (*int*, *optional*, varsayılan *6912*) : MLP temsillerinin boyutu.

num_hidden_layers (*int*, *optional*, varsayılan *80*) : Transformer decoder'ındaki gizli katman sayısı.

num_attention_heads (*int*, *optional*, varsayılan *40*) : Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.

num_key_value_heads (*int*, *optional*) : Grouped Query Attention'ı uygulamak için kullanılması gereken key_value başlarının sayısıdır. *num_key_value_heads=num_attention_heads* ise model Multi Head Attention (MHA) kullanır, *num_key_value_heads=1* ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için [bu makaleye](https://huggingface.co/papers/2305.13245) göz atın. Belirtilmezse, varsayılan olarak *num_attention_heads* kullanılır.

hidden_act (*str*, *optional*, varsayılan *silu*) : Dekoderdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, *"gelu"*, *"relu"*, *"silu"* vb.

max_position_embeddings (*int*, *optional*, varsayılan *2048*) : Bu modelin kullanılabileceği maksimum dizi uzunluğu.

initializer_range (*float*, *optional*, varsayılan *0.02*) : Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.

pad_token_id (*int*, *optional*, varsayılan *1*) : Sözlükte dolgu (padding) için kullanılan token kimliği.

bos_token_id (*int*, *optional*, varsayılan *0*) : Sözlükte akış başlangıcı için kullanılan token kimliği.

eos_token_id (*Union[int, list[int]]*, *opsiyonel*, varsayılan *2*) : Sözlükte akış sonu için kullanılan token kimliği.

tie_word_embeddings (*bool*, *opsiyonel*, varsayılan *False*) : Modelin *tied_weights_keys* eşlemesine göre ağırlık gömme bağlamasının (weight tying) uygulanıp uygulanmayacağını belirtir.

rope_parameters (*Union[~modeling_rope_utils.RopeParameters, dict]*, *optional*) : RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, *rope_theta* için bir değer içermeli ve daha uzun *max_position_embeddings* ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan parametreleri isteğe bağlı olarak içermelidir.

attention_bias (*bool*, *opsiyonel*, varsayılan *False*) : Kendi kendine dikkat (self-attention) sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında sapma (bias) kullanılıp kullanılmayacağı.

attention_dropout (*Union[int, float]*, *opsiyonel*, varsayılan *0.0*) : Dikkat olasılıkları için dropout oranı.

mlp_bias (*bool*, *opsiyonel*, varsayılan *False*) : MLP katmanlarındaki up_proj, down_proj ve gate_proj katmanlarında bias kullanılıp kullanılmayacağı.

head_dim (*int*, *optional*) : Dikkat başı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır.

mask_token_id (*int*, *opsiyonel*, varsayılan 32) : Sözlükte mask jetonunun indeksi (`"&amp;lt;mask>"`), maskeli dil modellemesi için kullanılır.

classifier_dropout (*float*, *optional*, varsayılan 0.1) : Sınıflandırma başı için dropout oranı.

Bu, bir EsmcModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Esmc modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılanlarla bir yapılandırma örneği oluşturmak, [biohub/ESMC-6B](https://huggingface.co/biohub/ESMC-6B) ile benzer bir yapılandırmaya yol açar.

Yapılandırma nesneleri [*PreTrainedConfig*] sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için [*PreTrainedConfig*] belgesini okuyun.

Örnekler:

```python
>>> from transformers import EsmcConfig, EsmcModel

>>> # Initializing an ESMC biohub/ESMC-6B style configuration
>>> configuration = EsmcConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = EsmcModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## EsmcTokenizer[[transformers.EsmcTokenizer]]

#### transformers.EsmcTokenizer[[transformers.EsmcTokenizer]]

```python
transformers.EsmcTokenizer(unk_token = '<unk>', cls_token = '<cls>', pad_token = '<pad>', mask_token = '<mask>', eos_token = '<eos>', bos_token = None, chain_break_token = '|', extra_special_tokens = None, **kwargs)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/tokenization_esmc.py#L67)

**Parametreler:**

unk_token (*str*, *optional*, varsayılan *"&amp;lt;unk>"*) : Bilinmeyen token.

cls_token (*str*, *opsiyonel*, varsayılan *"&amp;lt;cls>"*) : Sınıflandırma belirteci (her dizinin başına eklenir).

pad_token (*str*, *opsiyonel*, varsayılan *"&amp;lt;pad>"*) : Dolgu belirteci.

mask_token (*str*, *optional*, varsayılan *"&amp;lt;mask>"*) : Maskeli dil modellemesi için kullanılan mask token'ı.

eos_token (*str*, *optional*, varsayılan *"&amp;lt;eos>"*) : Sıra sonu belirteci (her sıranın sonuna eklenir).

bos_token (*str*, *optional*, varsayılan *"&amp;lt;cls>"*) : Sıralama başlangıç belirteci (her sıralamanın başına eklenir). Ayarlanmadığında cls_token kullanılır.

chain_break_token (*str*, *optional*, varsayılan *"|"*) : Çoklu zincirli protein girdilerinde zincirler arasına eklenen token. Model-özel bir özel token olarak kaydedildiğinden, *chain_break_token* / *chain_break_token_id* olarak sunulur.

extra_special_tokens (*list[str]*, *opsiyonel*) : Tokenizer ile kaydedilecek ek özel tokenlar (kaydedilmiş bir yapılandırmadan geri dönüştürülür).

Bir ESMC tokenizer'ı oluşturun.

Bu tokenizer, HuggingFace *tokenizers* kütüphanesi tarafından desteklenen karakter düzeyinde bir tokenizer'dır. Her diziyi `&amp;lt;cls>` ve `&amp;lt;eos>` token'larıyla sarar ve çoklu zincirli girdiler için `|` zincir kırma token'ını destekler.

Örnekler:

```python
>>> from transformers import EsmcTokenizer

>>> tokenizer = EsmcTokenizer()
>>> tokenizer("ACDEFGHIKLMNPQRSTVWY")["input_ids"]
[0, 5, 23, 13, 9, 18, 6, 21, 12, 15, 4, 20, 17, 14, 16, 10, 8, 11, 7, 22, 19, 2]
```

## EsmcModel[[transformers.EsmcModel]]

#### transformers.EsmcModel[[transformers.EsmcModel]]

```python
transformers.EsmcModel(config: EsmcConfig)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/modeling_esmc.py#L306)

**Parametreler:**

config ([EsmcConfig](/docs/transformers/v5.23.0/tr/model_doc/esmc#transformers.EsmcConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine göz atın.

Üzerinde herhangi bir özel head olmadan ham hidden-state çıktısı üreten çıplak Esmc Model.

Bu model [PreTrainedModel](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

#### forward[[transformers.EsmcModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, sequence_id: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/modeling_esmc.py#L316)

**Parametreler:**

input_ids (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yoksayılır. İndeksler [*AutoTokenizer*] kullanılarak elde edilebilir. Ayrıntılar için [*PreTrainedTokenizer.encode*] ve [*PreTrainedTokenizer.__call__*] bkz. [Girdi kimlikları (input IDs) nedir?](../glossary#input-ids)

attention_mask (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Dolgu (padding) token indekslerinde dikkat (attention) işleminin uygulanmasını önlemek için kullanılan maske. *[0, 1]* aralığında seçilen maske değerleri:  - **maske uygulanmayan** tokenlar için 1, - **maske uygulanan** tokenlar için 0.  [Dikkat maskeleri nelerdir?](../glossary#attention-mask)

position_ids (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Sıradaki her token'ın konumu, RoPE tarafından kullanılır. Varsayılan değeri `arange(sequence_length)`'tür. ESMC konumları, tüm girdi üzerinde mutlak değerdedir ve çoklu zincirli bir girdide zincir sınırları boyunca *devam eder*. Zincir yapısı, dikkati maskeleyen `sequence_id` tarafından ayrı olarak taşınır; kütüphanenin başka yerlerinde kullanılan paketli sıralama biçiminin aksine, bunlar 0'dan yeniden başlayan zincir başına konum kimlikleri değildir ve zincir yapısı bunlardan bilinçli olarak çıkarılmaz.

sequence_id (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Zincir farkındalıklı dikkat maskelenmesi için tamsay zincir kimliği tensörü. Aynı negatif olmayan tamsayı değere sahip jetonlar birbirine dikkat edebilir; farklı değerlere sahip jetonlar edemez (zincirler arası maskelenme). Dolgu konumları `-1` olarak ayarlanmalı ve girdiler **sağdan doldurulmuş** olmalıdır (RoPE, 0'dan başlayan mutlak konumları kullanır). Sağlandığında `attention_mask` yok sayılır. `sequence_id` geçirildiğinde özel bir dikkat maskesi oluşturulur ve bunun için `torch>=2.6` gerekir. Çoklu zincirli girdiler ayrıca flash olmayan bir `attn_implementation` (`'sdpa'` / `'eager'` / `'flex_attention'`) gerektirir; flash attention yalnızca tek zincirli durumu destekler.

**Dönüş:** [*~modeling_outputs.BaseModelOutput*] veya *tuple(torch.Tensor)*

A [*~modeling_outputs.BaseModelOutput*] veya bir *torch.Tensor* demeti (eğer *return_dict=False* geçirildiyse veya *config.return_dict=False* ise), yapılandırmaya ([*EsmcConfig*]) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

[*EsmcModel*] forward metodu, *__call__* özel metodunu geçersiz kılar.

İleri geçiş (forward pass) tarifi bu fonksiyon içinde tanımlanmakla birlikte, sonrasında bu fonksiyon yerine [*Module*] örneği çağrılmalıdır; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

- **last_hidden_state** (*torch.Tensor*, şekli *(batch_size, sequence_length, hidden_size)*) -- Modelin son katmanının çıktısındaki gizli durumlar dizisi.
- **hidden_states** (*tuple(torch.Tensor)*, *opsiyonel*, *output_hidden_states=True* geçirildiğinde veya *config.output_hidden_states=True* olduğunda döndürülür) -- *torch.Tensor* (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, *(batch_size, sequence_length, hidden_size)* biçiminde bir demet.

  Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
- **attentions** (*tuple(torch.Tensor)*, *optional*, *output_attentions=True* geçirildiğinde veya *config.output_attentions=True* olduğunda döndürülür) -- *torch.Tensor* (her katman için bir tane) içeren bir tuple, şekli *(batch_size, num_heads, sequence_length, sequence_length)*.

  Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

Örnekler:

```python
>>> from transformers import AutoTokenizer, EsmcModel

>>> model = EsmcModel.from_pretrained("biohub/ESMC-300M")
>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M")
>>> inputs = tokenizer(["MLKNVQVQLV"], return_tensors="pt")
>>> outputs = model(**inputs)
>>> outputs.last_hidden_state.shape
torch.Size([1, 12, 960])
```

## EsmcForMaskedLM[[transformers.EsmcForMaskedLM]]

#### transformers.EsmcForMaskedLM[[transformers.EsmcForMaskedLM]]

```python
transformers.EsmcForMaskedLM(config: EsmcConfig)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/modeling_esmc.py#L414)

**Parametreler:**

config ([EsmcConfig](/docs/transformers/v5.23.0/tr/model_doc/esmc#transformers.EsmcConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine göz atın.

Üstünde `language modeling` başlığı bulunan Esmc Modeli."

Bu model [PreTrainedModel](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

#### forward[[transformers.EsmcForMaskedLM.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, sequence_id: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/modeling_esmc.py#L430)

**Parametreler:**

input_ids (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yoksayılır. İndeksler [*AutoTokenizer*] kullanılarak elde edilebilir. Ayrıntılar için [*PreTrainedTokenizer.encode*] ve [*PreTrainedTokenizer.__call__*] bkz. [Girdi kimlikları (input IDs) nedir?](../glossary#input-ids)

attention_mask (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Dolgu (padding) token indekslerinde dikkat (attention) işleminin uygulanmasını önlemek için kullanılan maske. *[0, 1]* aralığında seçilen maske değerleri:  - **maske uygulanmayan** tokenlar için 1, - **maske uygulanan** tokenlar için 0.  [Dikkat maskeleri nelerdir?](../glossary#attention-mask)

position_ids (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *opsiyonel*) : Girdi dizisi token'larının konum gömme (position embeddings) içindeki konum indeksleri. *[0, config.n_positions - 1]* aralığında seçilir.  [Konum kimlikleri (position IDs) nedir?](../glossary#position-ids)

sequence_id (*torch.Tensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Zincir farkındalıklı dikkat maskelenmesi için kodlayıcıya iletilen tamsay zincir kimliği tensörü. Kodlama için [EsmcModel.forward()](/docs/transformers/v5.23.0/tr/model_doc/esmc#transformers.EsmcModel.forward) bölümüne bakın.

labels (*torch.LongTensor*, şekli *(batch_size, sequence_length)*, *isteğe bağlı*) : Maskeli dil modelleme kaybı için etiketler. `-100` etiketine sahip konumlar yok sayılır. Diğer konumlar `[0, config.vocab_size)` aralığında olmalıdır.

**Dönüş:** [*~modeling_outputs.MaskedLMOutput*] veya *tuple(torch.Tensor)*

A [*~modeling_outputs.MaskedLMOutput*] veya bir *torch.Tensor* demeti (eğer *return_dict=False* geçirildiyse veya *config.return_dict=False* ise) yapılandırma ([*EsmcConfig*]) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

[*EsmcForMaskedLM*] sınıfının forward metodu, *__call__* özel metodunu geçersiz kılar.

İleri geçiş (forward pass) tarifi bu fonksiyon içinde tanımlanmakla birlikte, sonrasında bu fonksiyon yerine [*Module*] örneği çağrılmalıdır; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

- **loss** (*torch.Tensor*, şekli *(1,)*, *opsiyonel*, *labels* sağlandığında döndürülür) -- Maskeli dil modelleme (MLM) kaybı.
- **logits** (*torch.Tensor*, şekli *(batch_size, sequence_length, config.vocab_size)*) -- Dil modelleme başlığının tahmin puanları (SoftMax öncesi her sözlük jetonu için puanlar).
- **hidden_states** (*tuple(torch.Tensor)*, *opsiyonel*, *output_hidden_states=True* geçirildiğinde veya *config.output_hidden_states=True* olduğunda döndürülür) -- *torch.Tensor* (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, *(batch_size, sequence_length, hidden_size)* biçiminde bir demet.

  Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
- **attentions** (*tuple(torch.Tensor)*, *optional*, *output_attentions=True* geçirildiğinde veya *config.output_attentions=True* olduğunda döndürülür) -- *torch.Tensor* (her katman için bir tane) içeren bir tuple, şekli *(batch_size, num_heads, sequence_length, sequence_length)*.

  Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

Örnekler:

```python
>>> from transformers import AutoTokenizer, EsmcForMaskedLM
>>> import torch

>>> model = EsmcForMaskedLM.from_pretrained("biohub/ESMC-300M")
>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M")
>>> inputs = tokenizer(["MLKNVQ&amp;lt;mask>LV"], return_tensors="pt")
>>> outputs = model(**inputs)
>>> outputs.logits.shape
torch.Size([1, 11, 64])
```

## EsmcForSequenceClassification[[transformers.EsmcForSequenceClassification]]

#### transformers.EsmcForSequenceClassification[[transformers.EsmcForSequenceClassification]]

```python
transformers.EsmcForSequenceClassification(config: EsmcConfig)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/modeling_esmc.py#L511)

**Parametreler:**

config ([EsmcConfig](/docs/transformers/v5.23.0/tr/model_doc/esmc#transformers.EsmcConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine göz atın.

Üzerinde bir dizi sınıflandırma/geri dönüş (regresyon) başlığı (toplanmış çıktının üzerinde doğrusal bir katman) bulunan ESMC Model dönüştürücüsü (transformer), örneğin GLUE görevleri için.

Bu model [PreTrainedModel](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

#### forward[[transformers.EsmcForSequenceClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/modeling_esmc.py#L521)

**Parametreler:**

input_ids (`torch.LongTensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yoksayılır. İndeksler [AutoTokenizer](/docs/transformers/v5.23.0/tr/model_doc/auto#transformers.AutoTokenizer) kullanılarak elde edilebilir. Ayrıntılar için [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/tr/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) ve [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/tr/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) yöntemlerine bakın. [Girdi kimlikları (input IDs) nedir?](../glossary#input-ids)

attention_mask (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Dolgu (padding) token indekslerinde dikkat (attention) işleminin uygulanmamasını sağlayan maske. `[0, 1]` aralığında seçilen maske değerleri:  - **maske uygulanmayan** tokenlar için 1, - **maske uygulanan** tokenlar için 0.  [Dikkat maskeleri nelerdir?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Girdi dizisi token'larının konum gömme (position embeddings) içindeki konum indeksleri. `[0, config.n_positions - 1]` aralığında seçilir.  [Konum kimlikleri (position IDs) nedir?](../glossary#position-ids)

inputs_embeds (`torch.Tensor`, şekli `(batch_size, sequence_length, hidden_size)`, *isteğe bağlı*) : `input_ids` parametresini iletmek yerine, gömülü bir temsil doğrudan iletmeyi tercih edebilirsiniz. Bu, `input_ids` indekslerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisine kıyasla daha fazla kontrol sahibi olmak istiyorsanız faydalıdır.

labels (`torch.LongTensor`, şekli `(batch_size,)`, *isteğe bağlı*) : Sınıflandırma/geri dönüş kaybını hesaplamak için etiketler. Endeksler `[0, ..., config.num_labels - 1]` aralığında olmalıdır. `config.num_labels == 1` ise bir geri dönüş kaybı (Ortalama Kare kaybı) hesaplanır, `config.num_labels > 1` ise bir sınıflandırma kaybı (Çapraz Entropi) hesaplanır.

**Dönüş:** [SequenceClassifierOutput](/docs/transformers/v5.23.0/tr/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) veya `tuple(torch.Tensor)`

[SequenceClassifierOutput](/docs/transformers/v5.23.0/tr/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) veya bir `torch.Tensor` demeti (eğer `return_dict=False` geçirildiyse veya `config.return_dict=False` ise), yapılandırmaya ([EsmcConfig](/docs/transformers/v5.23.0/tr/model_doc/esmc#transformers.EsmcConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

[EsmcForSequenceClassification](/docs/transformers/v5.23.0/tr/model_doc/esmc#transformers.EsmcForSequenceClassification) forward metodu, `__call__` özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

- **loss** (`torch.Tensor`, şekli `(1,)`, *isteğe bağlı*, `labels` sağlandığında döndürülür) -- Sınıflandırma (config.num_labels==1 ise regresyon) kaybı.
- **logits** (`torch.Tensor`, şekli `(batch_size, config.num_labels)`) -- Sınıflandırma (veya config.num_labels==1 ise regresyon) puanları (SoftMax öncesi).
- **hidden_states** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_hidden_states=True` geçirildiğinde veya `config.output_hidden_states=True` olduğunda döndürülür) -- `torch.Tensor` (gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için bir tane) içeren, `(batch_size, sequence_length, hidden_size)` biçiminde bir demet.

  Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
- **attentions** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_attentions=True` geçirildiğinde veya `config.output_attentions=True` olduğunda döndürülür) -- `torch.Tensor` (her katman için bir tane) içeren bir tuple, şekli `(batch_size, num_heads, sequence_length, sequence_length)`.

  Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

Tek etiketli sınıflandırma örneği:

```python
>>> import torch
>>> from transformers import AutoTokenizer, EsmcForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-6B")
>>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

Çok etiketli sınıflandırma örneği:

```python
>>> import torch
>>> from transformers import AutoTokenizer, EsmcForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-6B")
>>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = EsmcForSequenceClassification.from_pretrained(
...     "biohub/ESMC-6B", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## EsmcForTokenClassification[[transformers.EsmcForTokenClassification]]

#### transformers.EsmcForTokenClassification[[transformers.EsmcForTokenClassification]]

```python
transformers.EsmcForTokenClassification(config)
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/esmc/modeling_esmc.py#L575)

#### forward[[transformers.EsmcForTokenClassification.forward]]

```python
forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, labels: torch.LongTensor | None = None, use_cache: bool | None = None, **kwargs: Unpack[TransformersKwargs])
```

[Kaynak](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/modeling_layers.py#L287)

**Parametreler:**

input_ids (`torch.LongTensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yoksayılır. İndeksler [AutoTokenizer](/docs/transformers/v5.23.0/tr/model_doc/auto#transformers.AutoTokenizer) kullanılarak elde edilebilir. Ayrıntılar için [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/tr/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) ve [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/tr/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) yöntemlerine bakın. [Girdi kimlikları (input IDs) nedir?](../glossary#input-ids)

attention_mask (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Dolgu (padding) token indekslerinde dikkat (attention) işleminin uygulanmamasını sağlayan maske. `[0, 1]` aralığında seçilen maske değerleri:  - **maske uygulanmayan** tokenlar için 1, - **maske uygulanan** tokenlar için 0.  [Dikkat maskeleri nelerdir?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Girdi dizisi token'larının konum gömme (position embeddings) içindeki konum indeksleri. `[0, config.n_positions - 1]` aralığında seçilir.  [Konum kimlikleri (position IDs) nedir?](../glossary#position-ids)

past_key_values (`Cache`, *isteğe bağlı*) : Sıralı çözümlemeyi hızlandırmak için kullanılabilen, önceden hesaplanmış gizli durumlar (self-attention bloklarındaki ve cross-attention bloklarındaki anahtar ve değerler). Bu genellikle, `use_cache=True` veya `config.use_cache=True` olduğunda, çözümlemenin önceki bir aşamasında modelin döndürdüğü `past_key_values` içinden oluşur. Girdi olarak yalnızca [Cache](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.Cache) örneği kabul edilir, bkz. [kv cache kılavuzumuz](https://huggingface.co/docs/transformers/en/kv_cache). `past_key_values` geçirilmezse, varsayılan olarak [DynamicCache](/docs/transformers/v5.23.0/tr/internal/generation_utils#transformers.DynamicCache) başlatılır. Model, girdi olarak verilen aynı önbellek biçimini çıktı olarak üretir. `past_key_values` kullanılıyorsa, kullanıcının, bu modele geçmiş anahtar-değer durumları verilmemiş olan, yalnızca işlenmemiş `input_ids`'leri (şekli `(batch_size, unprocessed_length)`) girmesi beklenir; bunun yerine, şekli `(batch_size, sequence_length)` olan tüm `input_ids` girilmez.

inputs_embeds (`torch.Tensor`, şekli `(batch_size, sequence_length, hidden_size)`, *isteğe bağlı*) : `input_ids` parametresini iletmek yerine, gömülü bir temsil doğrudan iletmeyi tercih edebilirsiniz. Bu, `input_ids` indekslerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisine kıyasla daha fazla kontrol sahibi olmak istiyorsanız faydalıdır.

labels (`torch.LongTensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Token sınıflandırma kaybını hesaplamak için etiketler. İndisler `[0, ..., config.num_labels - 1]` aralığında olmalıdır.

use_cache (`bool`, *isteğe bağlı*) : `True` olarak ayarlanırsa, `past_key_values` anahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz. `past_key_values`).

**Dönüş:** `TokenClassifierOutput`

`GenericForTokenClassification` forward metodu, `__call__` özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

