# 音声分類

音声分類は、テキストと同様に、入力データからクラスラベルを出力します。唯一の違いは、テキスト入力ではなく、生の音声波形を扱う点です。音声分類の実用的な応用例としては、話者の意図の識別、言語の分類、さらには音による動物種の識別などが挙げられます。

このガイドでは、次の方法について説明します：

1. [MInDS-14](https://huggingface.co/datasets/PolyAI/minds14) データセットで [Wav2Vec2](https://huggingface.co/facebook/wav2vec2-base) をファインチューニングして、話者の意図を分類します。
2. ファインチューニングしたモデルを推論に使用します。

このタスクと互換性のあるすべてのアーキテクチャとチェックポイントを確認するには、[タスクページ](https://huggingface.co/tasks/audio-classification)を参照することをお勧めします。

開始前に、必要なライブラリがすべてインストールされていることを確認してください。

```bash
pip install transformers datasets evaluate soundfile torchcodec
```

Hugging Face アカウントにログインして、モデルをアップロードし、コミュニティと共有できるようにすることを推奨します。プロンプトが表示されたら、ログイン用のトークンを入力してください:

```py
>>> from huggingface_hub import notebook_login

>>> notebook_login()
```

## MInDS-14 データセットを読み込む

🤗 Datasets ライブラリから MInDS-14 データセットを読み込むことから始めます:

```py
>>> from datasets import load_dataset, Audio

>>> minds = load_dataset("PolyAI/minds14", name="en-US", split="train")
```

[train_test_split](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset.train_test_split)メソッドを使用して、データセットの`train`スプリットを、より小さいtrainセットとtestセットに分割します。これにより、フルデータセットに時間を費やす前に、実験を行い、すべてが正常に動作することを確認する機会が得られます。

```py
>>> minds = minds.train_test_split(test_size=0.2)
```

次に、データセットを確認します。

```py
>>> minds
DatasetDict({
    train: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 450
    })
    test: Dataset({
        features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
        num_rows: 113
    })
})
```

データセットには`lang_id`や`english_transcription`など多くの有用な情報が含まれていますが、本ガイドでは`audio`と`intent_class`に焦点を当てます。[remove_columns](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset.remove_columns)メソッドを使用して、その他の列を削除します。

```py
>>> minds = minds.remove_columns(["path", "transcription", "english_transcription", "lang_id"])
```

以下に例を示します。

```py
>>> minds["train"][0]
{'audio': {'array': array([ 0.        ,  0.        ,  0.        , ..., -0.00048828,
         -0.00024414, -0.00024414], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
  'sampling_rate': 8000},
 'intent_class': 2}
```

2つのフィールドがあります:

- `audio`: 音声ファイルをロードしてリサンプリングするために呼び出す必要がある、音声信号の1次元`array`。
- `intent_class`: 話者の意図のクラスIDを表します。

モデルがラベルIDからラベル名を取得しやすくするために、ラベル名と整数を相互にマッピングする辞書を作成します：

```py
>>> labels = minds["train"].features["intent_class"].names
>>> label2id, id2label = dict(), dict()
>>> for i, label in enumerate(labels):
...     label2id[label] = str(i)
...     id2label[str(i)] = label
```

これで、ラベルIDをラベル名に変換できます。

```py
>>> id2label[str(2)]
'app_error'
```

## 前処理

次のステップは、音声信号を処理するためにWav2Vec2のfeature extractorを読み込むことです:

```py
>>> from transformers import AutoFeatureExtractor

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
```

MInDS-14 データセットのサンプリングレートは 8kHz です（この情報は[データセットカード](https://huggingface.co/datasets/PolyAI/minds14)で確認できます）。そのため、事前学習済みの Wav2Vec2 モデルを使用するには、データセットを 16kHz にリサンプリングする必要があります。

```py
>>> minds = minds.cast_column("audio", Audio(sampling_rate=16_000))
>>> minds["train"][0]
{'audio': {'array': array([ 2.2098757e-05,  4.6582241e-05, -2.2803260e-05, ...,
         -2.8419291e-04, -2.3305941e-04, -1.1425107e-04], dtype=float32),
  'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
  'sampling_rate': 16000},
 'intent_class': 2}
```

次に、以下の処理を行う前処理関数を作成します:

1. `audio`カラムを読み込むために呼び出され、必要に応じてオーディオファイルをリサンプリングします。
2. 音声ファイルのサンプリングレートが、モデルの事前学習に使用された音声データのサンプリングレートと一致しているかどうかを確認します。この情報は、Wav2Vec2 の [モデルカード](https://huggingface.co/facebook/wav2vec2-base) で確認できます。
3. 長い入力を切り捨てずにバッチ処理できるように、最大入力長を設定します。

```py
>>> def preprocess_function(examples):
...     audio_arrays = [x["array"] for x in examples["audio"]]
...     inputs = feature_extractor(
...         audio_arrays, sampling_rate=feature_extractor.sampling_rate, max_length=16000, truncation=True
...     )
...     return inputs
```

データセット全体に前処理関数を適用するには、🤗 Datasets の [map](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset.map) 関数を使用します。`map` では、`batched=True` を設定することで、データセットの複数の要素を一度に処理し、処理を高速化できます。モデルの要件に従い、不要な列を削除し、`intent_class` を `label` にリネームします。

```py
>>> encoded_minds = minds.map(preprocess_function, remove_columns="audio", batched=True)
>>> encoded_minds = encoded_minds.rename_column("intent_class", "label")
```

## 評価

学習中にメトリクスを含めることは、モデルの性能を評価する上でしばしば役立ちます。🤗 [Evaluate](https://huggingface.co/docs/evaluate/index) ライブラリを使用すると、評価メソッドをすばやく読み込むことができます。このタスクでは、[accuracy](https://huggingface.co/spaces/evaluate-metric/accuracy) メトリクスを読み込みます（メトリクスの読み込みと計算方法の詳細については、🤗 Evaluate の [quick tour](https://huggingface.co/docs/evaluate/a_quick_tour) を参照してください）：

```py
>>> import evaluate

>>> accuracy = evaluate.load("accuracy")
```

次に、予測値とラベルを[compute](https://huggingface.co/docs/evaluate/v0.4.6/en/package_reference/main_classes#evaluate.EvaluationModule.compute)に渡して正解率を計算する関数を作成します。

```py
>>> import numpy as np

>>> def compute_metrics(eval_pred):
...     predictions = np.argmax(eval_pred.predictions, axis=1)
...     return accuracy.compute(predictions=predictions, references=eval_pred.label_ids)
```

`compute_metrics`関数はこれで準備が整いました。学習を設定する際に、この関数に戻ります。

## 学習

[Trainer](/docs/transformers/v5.23.0/ja/main_classes/trainer#transformers.Trainer)によるモデルのファインチューニングに慣れていない場合は、[こちら](../training)の基本的なチュートリアルをご覧ください!

いよいよモデルの学習を開始できます![AutoModelForAudioClassification](/docs/transformers/v5.23.0/ja/model_doc/auto#transformers.AutoModelForAudioClassification) を使用して Wav2Vec2 を読み込み、期待されるラベル数とラベルのマッピングを指定します:

```py
>>> from transformers import AutoModelForAudioClassification, TrainingArguments, Trainer

>>> num_labels = len(id2label)
>>> model = AutoModelForAudioClassification.from_pretrained(
...     "facebook/wav2vec2-base", num_labels=num_labels, label2id=label2id, id2label=id2label
... )
```

この時点で、残りのステップは3つだけです:

1. [TrainingArguments](/docs/transformers/v5.23.0/ja/main_classes/trainer#transformers.TrainingArguments) で学習ハイパーパラメータを定義します。必須のパラメータは `output_dir` のみで、モデルの保存先を指定します。`push_to_hub=True` を設定することで、このモデルを Hub にプッシュできます（モデルをアップロードするには Hugging Face にサインインしている必要があります）。各エポックの終了時、[Trainer](/docs/transformers/v5.23.0/ja/main_classes/trainer#transformers.Trainer) は精度を評価し、学習チェックポイントを保存します。
2. モデル、データセット、トークナイザー、データコラテーター、`compute_metrics` 関数とともに、学習引数を [Trainer](/docs/transformers/v5.23.0/ja/main_classes/trainer#transformers.Trainer) に渡します。
3. [train()](/docs/transformers/v5.23.0/ja/main_classes/trainer#transformers.Trainer.train)を呼び出して、モデルをファインチューニングします。

```py
>>> training_args = TrainingArguments(
...     output_dir="my_awesome_mind_model",
...     eval_strategy="epoch",
...     save_strategy="epoch",
...     learning_rate=3e-5,
...     per_device_train_batch_size=32,
...     gradient_accumulation_steps=4,
...     per_device_eval_batch_size=32,
...     num_train_epochs=10,
...     warmup_steps=0.1,
...     logging_steps=10,
...     load_best_model_at_end=True,
...     metric_for_best_model="accuracy",
...     push_to_hub=True,
...     report_to="trackio",
... )

>>> trainer = Trainer(
...     model=model,
...     args=training_args,
...     train_dataset=encoded_minds["train"],
...     eval_dataset=encoded_minds["test"],
...     processing_class=feature_extractor,
...     compute_metrics=compute_metrics,
... )

>>> trainer.train()
```

トレーニングが完了したら、[push_to_hub()](/docs/transformers/v5.23.0/ja/main_classes/trainer#transformers.Trainer.push_to_hub) メソッドでモデルを Hub に共有し、誰でもそのモデルを利用できるようにしてください。

```py
>>> trainer.push_to_hub()
```

音声分類用のモデルをファインチューニングする方法について、より詳細な例を確認するには、対応する[PyTorchノートブック](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/audio_classification.ipynb)をご覧ください。

## 推論

素晴らしい、モデルのファインチューニングが完了したので、推論に使用できます！

推論用のオーディオファイルを読み込みます。必要に応じて、オーディオファイルのサンプリング周波数をモデルのサンプリング周波数に合わせてリサンプリングすることを忘れないでください。

```py
>>> from datasets import load_dataset, Audio

>>> dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> audio_file = dataset[0]["audio"]["path"]
```

ファインチューニングしたモデルで推論を試す最も簡単な方法は、[pipeline()](/docs/transformers/v5.23.0/ja/main_classes/pipelines#transformers.pipeline)でそれを使用することです。モデルを用いて音声分類用の`pipeline`をインスタンス化し、音声ファイルを渡します:

```py
>>> from transformers import pipeline

>>> classifier = pipeline("audio-classification", model="stevhliu/my_awesome_minds_model")
>>> classifier(audio_file)
[
    {'score': 0.09766869246959686, 'label': 'cash_deposit'},
    {'score': 0.07998877018690109, 'label': 'app_error'},
    {'score': 0.0781070664525032, 'label': 'joint_account'},
    {'score': 0.07667109370231628, 'label': 'pay_bill'},
    {'score': 0.0755252093076706, 'label': 'balance'}
]
```

必要に応じて、`pipeline`の結果を手動で再現することもできます:

オーディオファイルを前処理し、`input`を PyTorch テンソルとして返すために、feature extractor を読み込みます:

```py
>>> from transformers import AutoFeatureExtractor

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("stevhliu/my_awesome_minds_model")
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
```

入力データをモデルに渡し、logitsを返します:

```py
>>> from transformers import AutoModelForAudioClassification

>>> model = AutoModelForAudioClassification.from_pretrained("stevhliu/my_awesome_minds_model")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
```

最も高い確率を持つクラスを取得し、モデルの`id2label`マッピングを使用してラベルに変換します:

```py
>>> import torch

>>> predicted_class_ids = torch.argmax(logits).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
'cash_deposit'
```

