Mengunduh model

Perpustakaan terintegrasi

Jika model di Hub terhubung ke library yang didukung, memuat model dapat dilakukan hanya dalam beberapa baris. Untuk informasi tentang cara mengakses model, Anda dapat mengklik tombol “Use in Library” di halaman model untuk melihat caranya. Sebagai contoh, distilbert/distilgpt2 menunjukkan cara melakukannya dengan 🤗 Transformers di bawah ini.

Menggunakan Perpustakaan Klien Hugging Face

Anda dapat menggunakan pustaka huggingface_hub untuk membuat, menghapus, memperbarui, dan mengambil informasi dari repositori. Misalnya, untuk mengunduh model HuggingFaceH4/zephyr-7b-beta dari baris perintah, jalankan

hf download HuggingFaceH4/zephyr-7b-beta

Lihat dokumentasi unduhan CLI untuk informasi lebih lanjut.

Anda juga dapat mengintegrasikan ini ke dalam pustaka Anda sendiri. Misalnya, Anda dapat memuat model Scikit-learn dengan cepat hanya dengan beberapa baris.

from huggingface_hub import hf_hub_download
import joblib

REPO_ID = "YOUR_REPO_ID"
FILENAME = "sklearn_model.joblib"

model = joblib.load(
    hf_hub_download(repo_id=REPO_ID, filename=FILENAME)
)

Menggunakan Git

Karena semua model di Model Hub adalah repositori Git yang didukung Xet, Anda dapat mengkloning model secara lokal dengan memasang git-xet dan menjalankan:

git xet install
git lfs install
git clone git@hf.co:<MODEL ID> # example: git clone git@hf.co:bigscience/bloom

Jika Anda memiliki akses tulis ke repositori model tertentu, Anda juga akan memiliki kemampuan untuk melakukan commit dan push revisi ke model tersebut.

Tambahkan kunci SSH publik Anda ke pengaturan pengguna Anda untuk mendorong perubahan dan/atau mengakses repositori privat.

Unduhan lebih cepat

Uji kecepatan unduhan Anda

Anda dapat menguji kecepatan unduhan dari CDN Hugging Face di fast.hf.co. Ini menjalankan pengujian bandwidth singkat terhadap server edge HF terdekat, membantu Anda memahami throughput dasar sebelum menyesuaikan pengaturan apa pun.

Anda juga dapat mengukur kecepatan unduhan langsung dari terminal menggunakan ekstensi CLI hf-speedtest:

hf extensions install julien-c/hf-speedtest
hf speedtest

K konkurensi adaptif dengan hf_xet

hf_xet adalah paket berbasis Rust yang memanfaatkan backend penyimpanan Xet untuk mengoptimalkan transfer file dengan deduplikasi berbasis chunk. Secara default, hf_xet menggunakan konkurensi adaptif — secara otomatis menyesuaikan jumlah stream transfer paralel berdasarkan kondisi jaringan real-time, dimulai secara konservatif (1 stream) dan meningkat hingga 64 stream konkuren sesuai ketersediaan bandwidth.

Untuk sebagian besar mesin — termasuk lingkungan pusat data — pengaturan bawaan sudah akan memaksimalkan pita lebar jaringan yang tersedia. Untuk pengguna lanjutan pada mesin dengan pita lebar tinggi dan disk cepat, HF_XET_HIGH_PERFORMANCE=1 meningkatkan batas konkurensi dan memperbesar ukuran buffer memori, yang dapat membantu saat mengunduh banyak file besar secara paralel.

HF_XET_HIGH_PERFORMANCE=1 hf download ...

Mulai dari hf_xet 1.7.0, ukuran buffer unduhan didasarkan pada memori yang tersedia untuk hf_xet, termasuk batas memori container, dengan atau tanpa HF_XET_HIGH_PERFORMANCE=1. Pada versi sebelumnya, gunakan HF_XET_HIGH_PERFORMANCE=1 hanya pada mesin dengan RAM minimal 64 GB. Lihat Buffer Unduhan untuk nilai yang digunakan.

Menggunakan hf-mount

Untuk model besar, Anda dapat memuat repo sebagai sistem file lokal dengan hf-mount alih-alih mengunduh seluruh repo. File diambil secara lazy — hanya byte yang dibaca oleh kode Anda yang menyentuh jaringan.

brew install hf-mount
hf-mount start repo openai-community/gpt2 /tmp/gpt2

Repos dimount sebagai read-only. Lihat Mount as a Local Filesystem untuk detail setup lengkap, opsi backend, dan caching.

Mengunduh di balik proxy atau firewall

Jika jaringan Anda membatasi lalu lintas keluar melalui firewall atau proxy, mengunduh model dan dataset membutuhkan lebih dari sekadar huggingface.co. Isi file disajikan dari hostname penyimpanan dan CDN yang terpisah, dan from_pretrained / hf download akan gagal jika hostname tersebut tidak dapat dijangkau, bahkan ketika huggingface.co sendiri sudah diizinkan.

Izinkan hostname berikut (semuanya melalui HTTPS / port 443):

Unduhan mengikuti pengalihan HTTP dari huggingface.co ke nama host ini, sehingga mengizinkan hanya huggingface.co saja tidak cukup. ReadTimeoutError (bukan error koneksi) di tengah unduhan biasanya berarti koneksi awal berhasil tetapi host penyimpanan atau CDN diblokir.

Perilaku wildcard bergantung pada cara proxy Anda mencocokkan domain. Banyak proxy perusahaan memperlakukan entri allowlist sebagai pencocokan sufiks yang mencakup subdomain pada kedalaman apa pun. Jika proxy Anda melakukannya, opsi paling sederhana adalah mengizinkan sufiks hf.co dan huggingface.co — ini mencakup semua endpoint penyimpanan dan CDN saat ini maupun di masa depan.

Jika proxy Anda hanya mendukung wildcard berlabel tunggal (di mana *.hf.co cocok dengan cdn-lfs-us-1.hf.co tetapi tidak dengan yang lebih dalam seperti us.aws.cdn.hf.co atau cas-server.xethub.hf.co), masukkan hostname eksplisit dari tabel di atas ke allowlist. Perhatikan bahwa *.xethub.hf.co tidak menutupi host EU di bawah xethub-eu.hf.co, dan *.cdn.hf.co tidak menutupi dua label us.aws.cdn.hf.co / us.gcp.cdn.hf.co.

Hostname ini dapat berubah seiring dengan evolusi infrastruktur penyimpanan dan CDN kami. Jika kebijakan keamanan Anda mengizinkan, izinkan sufiks hf.co dan huggingface.co (semua subdomain) agar aturan Anda tidak rusak ketika endpoint tertentu berubah.

Daftar yang dapat dibaca mesin

Hostname di atas juga dipublikasikan sebagai JSON di https://huggingface.co/.well-known/meta.json, sehingga Anda dapat membuat aturan proxy atau firewall darinya alih-alih menyalin tabel secara manual.

File berubah saat endpoint ditambahkan dan dihapus. Ambil file tersebut saat Anda membangun aturan Anda, bukan dengan mengunci salinannya.