Hugging Face에서 SpeechBrain 사용

speechbrain은 오디오/음성을 위한 오픈소스 올인원 대화형 툴킷입니다. 목표는 음성 인식, 화자 인식, 음성 향상, 음성 분리, 언어 식별, 다중 마이크 신호 처리 등 최첨단 음성 기술 시스템을 쉽게 개발할 수 있는 단일하고 유연하며 사용자 친화적인 툴킷을 만드는 것입니다.

Hub에서 SpeechBrain 탐색

모델 페이지 왼쪽에서 필터링하여 speechbrain 모델을 찾을 수 있습니다.

Hub의 모든 모델에는 다음 기능이 제공됩니다:

1. 간략한 설명이 포함된 자동 생성된 모델 카드
2. 언어, 라이선스, 논문 등 검색 가능성을 높이는 데 도움이 되는 메타데이터 태그입니다.
3. 모델을 브라우저에서 직접 실험해 볼 수 있는 인터랙티브 위젯입니다.
4. 추론 요청을 수행할 수 있는 Inference Providers 위젯입니다.

기존 모델 사용

speechbrain은 EncoderClassifier, EncoderClassifier, SepformerSeparation, SpectralMaskEnhancement와 같은 다양한 작업을 위한 사전 학습된 모델을 관리하는 여러 인터페이스를 제공합니다. 이러한 클래스에는 Hub에서 모델을 로드하는 데 사용할 수 있는 from_hparams 메서드가 있습니다.

도시 소리 인식 추론을 실행하는 예시입니다.

import torchaudio
from speechbrain.pretrained import EncoderClassifier

classifier = EncoderClassifier.from_hparams(
    source="speechbrain/urbansound8k_ecapa"
)
out_prob, score, index, text_lab = classifier.classify_file('speechbrain/urbansound8k_ecapa/dog_bark.wav')

특정 모델을 로드하는 방법을 확인하려면 Use in speechbrain을 클릭하면 로드할 수 있는 작동하는 스니펫이 제공됩니다!

추가 리소스

• SpeechBrain 웹사이트.
• SpeechBrain 문서.