Utiliser ESPnet sur Hugging Face

espnet est un kit d’outils de bout en bout pour le traitement de la parole, incluant la reconnaissance automatique de la parole, la synthèse vocale, l’amélioration de la parole, la séparation des sources et d’autres tâches.

Explorer ESPnet dans le Hub

Vous pouvez trouver des centaines de modèles espnet en filtrant à gauche de la page des modèles.

Tous les modèles du Hub sont dotés de fonctionnalités utiles :

1. Une carte de modèle générée automatiquement, avec une description, une configuration d'entraînement, des licences et plus encore.
2. Balises de métadonnées qui facilitent la découvrabilité et contiennent des informations telles que la licence, la langue et les jeux de données.
3. Un widget interactif que vous pouvez utiliser pour tester le modèle directement dans le navigateur.
4. Un widget Inference Providers permettant d’effectuer des requêtes d’inférence.

Utilisation de modèles existants

Pour un guide complet sur le chargement de modèles pré-entraînés, nous vous recommandons de consulter le guide officiel).

Si vous souhaitez effectuer de l’inférence, différentes classes pour différentes tâches disposent d’une méthode from_pretrained qui permet de charger des modèles depuis le Hub. Par exemple :

• Speech2Text pour la reconnaissance automatique de la parole.
• Text2Speech pour la synthèse vocale.
• SeparateSpeech pour la séparation de sources audio.

Voici un exemple d'inférence :

import soundfile
from espnet2.bin.tts_inference import Text2Speech

text2speech = Text2Speech.from_pretrained("model_name")
speech = text2speech("foobar")["wav"]
soundfile.write("out.wav", speech.numpy(), text2speech.fs, "PCM_16")

Si vous souhaitez voir comment charger un modèle spécifique, vous pouvez cliquer sur Use in ESPnet et un extrait de code fonctionnel vous sera fourni pour le charger !

Partager vos modèles

ESPnet génère un fichier zip qui peut être facilement téléversé sur Hugging Face. Pour un guide complet sur le partage de modèles, nous vous recommandons de consulter le guide officiel).

Le script run.sh permet de téléverser un modèle donné dans un dépôt Hugging Face.

./run.sh --stage 15 --skip_upload_hf false --hf_repo username/model_repo

Ressources supplémentaires

• Documentation ESPnet.
• Dépôt du zoo de modèles ESPnet repository.
• Documentation d'intégration.