Alibaba Memperkenalkan Model Bahasa Qwen-7B Sumber Terbuka
Alibaba telah memperkenalkan Model Bahasa Besar (LLM) sumber terbukanya yang dinamakan Qwen-7B, menandakan kemasukan sulung mereka ke alam LLM yang boleh diakses secara umum. Model ini dibina berdasarkan 7 bilion parameter.
Untuk konteks, Qwen-7B menjalani latihan menggunakan 2.2 trilion token. Saiz konteks yang ditetapkan semasa fasa latihan ini ialah 2048, manakala pengguna boleh memanjangkan ini kepada maksimum 8192 semasa ujian. Sebagai perbandingan, Llama-2, LLM lain, menawarkan saiz konteks 4096.
Penanda aras adalah penting untuk mengukur prestasi model sedemikian, dan dalam domain ini, pemaju China menegaskan bahawa Qwen-7B telah mengatasi Llama-2. Satu metrik yang menonjol ialah penanda aras pengekodan Human-Eval, di mana Qwen-7B mendapat markah 24.4 berbanding Llama-2's 12.8. Walau bagaimanapun, adalah bijak untuk melihat nombor ini dengan tahap berhati-hati. Sesetengah penanda aras menunjukkan bahawa Qwen-7B mengatasi prestasi bukan sahaja model asas LLama-2-7B tetapi juga LLaMA-2-13B varian. Walau bagaimanapun, apabila ditandingi dengan versi halus Llama-2, margin perbezaan menjadi lebih sempit. Perlu diingatkan bahawa metodologi latihan tepat Qwen-7B belum diperincikan secara eksplisit oleh pembangunnya.
Dalam fungsi selari dengan LLaMa2-chat, Qwen telah mempersembahkan versi chat-centric bernama Qwen-7B-Chat. Model ini dioptimumkan untuk berinteraksi dengan pengguna dan menggabungkan pelbagai alat dan API untuk meningkatkan tindak balasnya.
Mereka yang mempunyai kecenderungan ke arah spesifikasi teknikal akan berminat untuk mengetahui bahawa asas seni bina Qwen-7B mempunyai persamaan dengan LLaMA. Walau bagaimanapun, terdapat ciri tersendiri yang membezakan Qwen-7B:
- Ia menggunakan benam yang tidak terikat.
- Pembenaman kedudukan berputar digunakan.
- Bias dikecualikan, dengan pengecualian QKV dalam perhatian.
- RMSNorm diutamakan berbanding LayerNorm.
- Daripada ReLU standard, SwiGLU diperbadankan.
- Perhatian kilat telah diperkenalkan untuk mempercepatkan proses latihan.
- Model ini terdiri daripada 32 lapisan, mempunyai dimensi benam 4096, dan memuatkan 32 kepala perhatian.
Dari segi pelesenan, Qwen-7B sejajar dengan Llama-2. Ia membenarkan penggunaan komersial, tetapi dengan ketetapan pada jumlah pengguna. manakala Llama-2 menetapkan had ini pada 700 juta pengguna aktif sebulan, ambang Qwen-7B ialah 100 juta.
Mereka yang ingin mendapatkan peperiksaan yang mendalam boleh merujuk kepada laporan teknikal yang tersedia di GitHub. Selain itu, demonstrasi Qwen-7B, disediakan dalam bahasa Cina, boleh diakses oleh mereka yang berminat dalam penerokaan praktikal keupayaan model.
Baca lebih lanjut mengenai AI:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
