Phi-1, Kompakt Bir Dil Modeli, Outpaces GPT Verimli Kod Üretiminde
Kısaca
Araştırmacılar Phi-1'i geliştirdiler. kompakt dil modeli 1.3 milyar parametre ve daha küçük bir eğitim veri kümesi kullanarak verimli kod üretimi için.
Daha küçük boyutuna rağmen, HumanEval'de %1 ve MBPP kıyaslamalarında %50.6'lik [email protected] doğruluğuyla etkileyici sonuçlar elde ediyor.
Phi-1, kod oluşturma görevleri için özel olarak tasarlanmış kompakt ancak güçlü bir model. Öncüllerinden farklı olarak Phi-1, önemli ölçüde daha az parametre ve daha küçük bir eğitim veri seti kullanırken kodlama ve diğer ilgili görevlerde üstün performans gösterir.
| Önerilen: 12 En İyi Yapay Zeka Kodlama Aracı 2023 |
Transformer tabanlı bir model olan Phi-1, diğer rakip modellerin yalnızca çok küçük bir boyutu olan 1.3 milyar parametresiyle öne çıkıyor. Dikkat çekici bir şekilde, sekiz adet A100 kullanılarak yalnızca dört günde eğitildi. Eğitim süreci, web'den (6 milyar jeton) elde edilen dikkatlice seçilmiş "ders kitabı kalitesi" verilerini ve sentetik ders kitaplarını ve GPT-35 (1 milyar jeton).
Daha küçük ölçeğine rağmen Phi-1, HumanEval'de %1 ve MBPP kıyaslamalarında %50.6'lik [email protected] doğruluğuyla etkileyici sonuçlar elde ediyor. Üstelik, ince ayar öncesi daha eski bir model olan Phi-1-base ve 1 milyon parametreli daha küçük bir model olan Phi-350-small ile karşılaştırıldığında beklenmedik ortaya çıkan özellikler sergiliyor. Phi-1, küçültülmüş boyutuyla bile HumanEval'de %45'lik takdire şayan bir doğruluğa ulaşıyor.
Phi-1'in başarısı, eğitim sırasında kullanılan yüksek kaliteli verilere bağlanabilir. Kapsamlı ve iyi hazırlanmış bir ders kitabının öğrencilerin yeni konularda uzmanlaşmalarına yardımcı olması gibi, araştırmacılar da "ders kitabı kalitesinde" veriler oluşturmaya odaklandılar. dil modeli. Bu yaklaşım, daha küçük model boyutuna ve veri kümesi hacmine rağmen, HumanEval ve MBPP gibi kodlama karşılaştırma ölçütlerinde çoğu açık kaynak modelini geride bırakan bir modelle sonuçlandı.
Ancak, daha büyük modellere kıyasla Phi-1'in bazı sınırlamalarına dikkat etmek önemlidir. İlk olarak, Phi-1 Python kodlamasında uzmanlaşmıştır ve çok dilli modellerin çok yönlülüğünden yoksundur. Ek olarak, belirli API'lerle programlama veya daha az yaygın paketler kullanma gibi daha büyük modellerde bulunan alana özgü bilgilerden yoksundur. Son olarak, veri kümelerinin yapılandırılmış doğası ve dil ve stildeki çeşitliliğin olmaması nedeniyle, Phi-1 bilgi istemindeki stilistik varyasyonlara veya hatalara karşı daha az dayanıklıdır.
Araştırmacılar bu sınırlamaları kabul ediyor ve daha fazla çalışmanın her birine hitap edebileceğine inanıyor. Kullanmayı öneriyorlar GPT-4 yerine sentetik veri üretmek GPT-35, çünkü ikincisinin verilerinde yüksek bir hata oranı gözlemlediler. Hatalara rağmen Phi-1, önceki bir çalışmaya benzer şekilde dikkate değer bir kodlama yeterliliği göstermektedir. dil modeli %100 hata oranına sahip veriler üzerinde eğitim verildiğinde bile doğru yanıtlar üretti.
AI hakkında daha fazlasını okuyun:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
