Transformers documentation
Falcon3
Model ini disumbangkan ke Hugging Face Transformers pada 2024-12-17.
Falcon3
Ikhtisar
Falcon3 merupakan evolusi alami dari rilis sebelumnya, dengan penekanan pada perluasan kemampuan sains, matematika, dan kode model. Iterasi ini mencakup lima model dasar: Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base, dan Falcon3-10B-Base. Dalam mengembangkan model-model ini, kami mengintegrasikan beberapa inovasi utama yang bertujuan untuk meningkatkan kinerja model sekaligus mengurangi biaya pelatihan:
Satu pra-pelatihan: Kami melakukan satu kali eksekusi pra-pelatihan berskala besar pada model 7B, menggunakan 2048 chip GPU H100, dengan memanfaatkan 14 triliun token yang mencakup data web, kode, STEM, serta data multibahasa berkualitas tinggi yang dikurasi. Upscaling kedalaman untuk penalaran yang lebih baik: Berdasarkan studi terbaru mengenai efek kedalaman model, kami melakukan upscaling model 7B menjadi model 10B parameter dengan menduplikasi lapisan yang redundan dan melanjutkan pra-pelatihan dengan 2TT data berkualitas tinggi. Hal ini menghasilkan Falcon3-10B-Base yang mencapai kinerja zero-shot dan few-shot state-of-the-art untuk model di bawah 13B parameter. Distilasi pengetahuan untuk model kecil yang lebih baik: Untuk menyediakan alternatif yang ringkas dan efisien, kami mengembangkan Falcon3-1B-Base dan Falcon3-3B-Base dengan memanfaatkan teknik pruning dan distilasi pengetahuan, menggunakan kurang dari 100GT data berkualitas tinggi yang dikurasi, sehingga mendefinisikan ulang efisiensi pra-pelatihan.