Araştırmacılar Büyük Dil Modellerinin 'Gelişen Yetenekleri' Kavramına Karşı Çıkıyor
Kısaca
AGI kıyameti, birdenbire büyük dil modellerinin ortaya çıkması nedeniyle endişe vericidir Yetenekleri göstermek daha küçük modellerde bu yok gibi görünüyor.
Bu olguya “Büyük Dil Modellerinin ortaya çıkan yetenekleri” adı verilmektedir.
“Büyük Dil Modellerinin Ortaya Çıkan Yetenekleri Bir Serap Mıdır?” Makalesinin yazarları ortaya çıkan yeteneklerin etkisinin bir serap değil, görevleri yerine getirme yeteneğinde öngörülebilir bir büyüme olduğunu savunuyorlar.
Büyük modeller için Big Bench problemlerinin en az %92'sinin ani bir ilerleme göstermediğini ve modellerin boyutu arttıkça modellerinin kalitesinin sorunsuz ve öngörülebilir bir şekilde arttığını gösteriyorlar.
Büyük dil modellerinin potansiyel yetenekleri üzerine yakın zamanda yapılan bir incelemede araştırmacılar, "ortaya çıkan yetenekler" kavramına meydan okuyor ve bunların işlevselliğinin daha öngörülebilir bir yönüne ışık tutuyor. “ başlıklı yazıBüyük Dil Modellerinin Ortaya Çıkan Yeteneklerinin Gerçeklerini Ortaya Çıkarmak”, bu modellerin kendiliğinden ileri beceriler kazandığı yönündeki yanlış algıya yol açan metriklerin yanlış yorumlanmasına dikkat çekiyor.
"ortaya çıkan yeteneklergibi geniş dil modelleri bağlamında GPT serisi, bu modellerin insan bilincine benzer öngörülemeyen yetenekler geliştirme potansiyeline ilişkin endişeleri artırdı. Bu makale, bu varsayımların modellerin gerçek davranış ve yeteneklerine ilişkin hatalı anlayışa dayandığını ileri sürmektedir.
Daha büyük modellerin görünüşte soyut akıl yürütme, problem çözme ve hatta mizah gibi yeni keşfedilen yetenekler kazandığı, yaygın olarak gözlemlenen fenomen, "Büyük Dil Modellerinin ortaya çıkan yetenekleri" olarak adlandırılmıştır. Makalenin yazarları, bu yeteneklerin göründüğü kadar kendiliğinden olmadığını, daha ziyade yanıltıcı değerlendirme ölçümlerinin bir sonucu olduğunu iddia ediyor.
Bu noktayı açıklamak için araştırmacılar, dil modelinin doğal dildeki bir bilmeceyi kavraması ve doğal dilde doğru yanıtla yanıt vermesi gereken "bilmeceyi tahmin etme" görevini göz önünde bulunduruyor. Geleneksel olarak, yanıtların kalitesi ikili bir metrik kullanılarak değerlendirilir: Bir yanıta, doğru yanıtla tam olarak eşleşiyorsa 1 puan, aksi halde 0 puan verilir.
Konunun özü, metriğin görevin karmaşıklığına ve model parametrelerinin sayısına olan duyarlılığında yatmaktadır. Araştırmacılar bu ikili metriğin bir sonuca yol açtığını ortaya koyuyor aldatıcı algı "ortaya çıkan yetenekler" Daha küçük modeller genellikle bu ölçümde ihmal edilebilir doğruluk (eps) sergilerken, daha büyük modeller, özellikle de yüksek parametre sayısına sahip olanlar, dikkate değer doğruluk seviyelerine (acc > 0.5) ulaşıyor gibi görünmektedir.
Makale, yetenekteki bu bariz değişimin, modellerin kendiliğinden karmaşık beceriler kazandığının göstergesi olmadığını ileri sürüyor. Bunun yerine, modellerin daha incelikli yanıtları anlama ve üretme kapasitesi, çıktılarının daha titiz bir şekilde değerlendirilmesinden kaynaklanmaktadır. Araştırmacılar, kesin dize eşleşmeleri yerine olasılıksal eşleştirme ve anlamsal tutarlılığa odaklanarak, modellerin ilerlemesi performans açısından boyutlarına bakılmaksızın daha mantıklı bir yol izler.
| İlgili bağlantılar: T9 Döneminden Chatbotların Evrimi ve GPT-1 için ChatGPT |
Değişen Parametrelerle Model Performans Gelişiminin Araştırılması
Analitik bir araştırmada araştırmacılar, algılanan "ortaya çıkan yeteneklerin" ardındaki ince mekanizmaları ortaya çıkarıyor. büyük dil modelleri. Çalışma, süper ayrık metriklerin model performansını değerlendirmedeki etkisini sorguluyor ve model parametreleri genişledikçe yeteneklerine ilişkin daha öngörücü bir anlayışa açıklık getiriyor.
Kapsamlı dil modellerinde hakim olan “ortaya çıkan yetenekler” kavramı, tartışmaları büyüledi ve potansiyel atılımlara ilişkin endişeleri artırdı. Bu çalışma, bu olgunun altında yatan mekanizmaları çözmeyi ve bu modellerin gerçekten ani, benzeri görülmemiş yetenekler sergileyip sergilemediğini veya algılanan bu ilerlemelerin farklı bir nedene atfedilip atfedilemeyeceğini çözmeyi amaçlıyor.
Çalışmanın merkezinde, model performansını ölçmek için kullanılan ölçümlerin titiz bir değerlendirmesi yatıyor. Araştırmacılar, süper ayrık ölçümlerin, özellikle de tam dize eşleşmelerini belirleyen geleneksel ikili ölçümün kullanımının, büyük verilerin yorumunu bozabileceğini iddia ediyor. dil modeli yetenekleri. Çalışma, model tarafından oluşturulan yanıtların olasılık dağılımının, model parametreleri ölçeği olarak nasıl geliştiğini titizlikle analiz ediyor.
Araştırma, “ortaya çıkan yetenekler” kavramının aksine daha sistematik bir eğilimi ortaya koyuyor. Modelin boyutu arttıkça, uygun yanıtlara daha yüksek, yanlış yanıtlara ise daha düşük olasılık atama yeteneği gelişir. Bu, modelin geniş bir boyut yelpazesinde sorunları ustalıkla çözme kapasitesinde tutarlı bir gelişmeyi yansıtmaktadır. Araştırma, özünde, modellerin öğrenme sürecinin iyi bir süreç izlediğini öne sürüyor.defiani bir sıçrayıştan ziyade bir iyileşme yörüngesi belirledik.
Yazarlar, ayrık metriklerin sürekli olanlarla değiştirilmesini önererek bir paradigma değişikliği ortaya koyuyorlar. Bu değişiklik performans gelişiminin daha net bir resmini sunuyor. Araştırmacılar yaptıkları analizler sayesinde, bunların yaklaşık %92'sinin Büyük Bench sorunları model boyutu büyüdükçe kalitede düzgün ve öngörülebilir bir büyüme sergiler. Bu bulgu, daha büyük modellerin ani atılımlar yaşadığı fikrine meydan okuyor ve bunun yerine daha kademeli ve beklenen bir ilerlemeyi vurguluyor.
Çalışma, iddialarını doğrulamak için içgörülerini genişletiyor. Bu, aynı "ortaya çıkan yetenek" etkisinin geleneksel otomatik kodlayıcılar kullanılarak yapay olarak simüle edilebileceğini gösteriyor; bu da metrik seçiminin algılanan sonuçları önemli ölçüde etkilediğini gösteriyor. Bu açıklama, çalışmanın çıkarımlarının kapsamını genişleterek, yalnızca dil modellerinin ötesinde geçerliliğini ortaya koyuyor.
Araştırmacılar sonuçlarının öyle olmadığını vurguluyor defibüyük dil modellerinde "ortaya çıkan yetenekler" veya bilinç potansiyelini kesin olarak reddeder. Ancak bulguları, araştırmacıları bu tür iddialara incelikli bir bakış açısıyla yaklaşmaya teşvik ediyor. Çalışma, aceleyle tahminlerde bulunmak ve aşırı sonuçlar çıkarmak yerine, titiz araştırma ve kapsamlı analizin öneminin altını çiziyor.
AI hakkında daha fazlasını okuyun:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
