Bir Araştırmacıya Göre Günümüzün Büyük Dil Modelleri Küçük Modeller Olacak OpenAI
Başarılı bir yapay zeka araştırmacısı olan Hyung Won Chung, daha önce Google Brain'de çalışmış ve şu anda Google Brain'in bir üyesidir. OpenAI ekibi, 45 yılında büyük dil modelleri dünyasını keşfettiği 2023 dakikalık düşündürücü bir konuşma yaptı. Chung'un bu alanda deneyimi var; Google gazetesinin ilk yazarıydı “Öğretim-İnce Ayarlı Dil Modellerinin Ölçeklendirilmesi,Büyük dil modellerinin talimatları takip edecek şekilde nasıl eğitilebileceğini inceliyor.
Chung, kapsamlı dil modelleri dünyasının dinamik olduğunu vurguluyor. Yüksek Lisans dünyasında, temel varsayımların genellikle sabit kaldığı geleneksel alanların aksine, yol gösterici prensip sürekli olarak gelişmektedir. Yeni nesil modellerle birlikte şu anda imkansız veya uygulanamaz olduğu düşünülen şeyler mümkün hale gelebilir. Yüksek Lisans yetenekleri hakkındaki çoğu iddianın başında "şimdilik" ifadesinin bulunmasının önemini vurguluyor. Bir model bir görevi gerçekleştirebilir; henüz bunu yapmadı.
Bugünün büyük modelleri birkaç yıl içinde küçük modeller olacak
Hyung Won Chung, OpenAI
Titiz dokümantasyon ve tekrarlanabilirlik ihtiyacı yapay zeka araştırması Chung'un konuşmasından çıkarılacak en önemli derslerden biridir. Alan geliştikçe devam eden çalışmaları kapsamlı bir şekilde belgelemek çok önemlidir. Bu strateji, deneylerin hızlı bir şekilde tekrarlanabileceğini ve tekrar gözden geçirilebileceğini garanti ederek araştırmacıların daha önceki çalışmalara dayanmalarını sağlar. Bu uygulama sayesinde, ilk araştırmada pratik olmayan yeteneklerin gelecekte gelişebileceği kabul edilmektedir.
Chung, konuşmasının bir bölümünü veri ve model paralelliğinin inceliklerini açıklamaya ayırıyor. Yapay zekanın teknik yönlerini daha derinlemesine incelemek isteyenler için bu bölüm, bu paralellik tekniklerinin iç işleyişine dair değerli bilgiler sunmaktadır. Bu mekanizmaları anlamak optimizasyon için çok önemlidir. büyük ölçekli model eğitimi.
Chung, LLM ön eğitimi için kullanılan mevcut hedef fonksiyonu Maksimum Olabilirlik'in, 10,000 kat kapasite gibi gerçekten büyük ölçeklere ulaşmada bir darboğaz olduğunu öne sürüyor. GPT-4. Makine öğrenimi ilerledikçe, manuel olarak tasarlanan kayıp fonksiyonları giderek sınırlayıcı hale geliyor.
Chung, yapay zeka geliştirmedeki bir sonraki paradigmanın, işlevlerin ayrı algoritmalar aracılığıyla öğrenilmesini içerdiğini öne sürüyor. Bu yaklaşım, başlangıç aşamasında olmasına rağmen mevcut kısıtlamaların ötesinde ölçeklenebilirlik vaadini taşıyor. Kendisi aynı zamanda, Kural Modelleme ile İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF) gibi devam eden çabaların bu yönde atılan adımlar olduğunu ancak zorlukların aşılması gerektiğinin altını çiziyor.
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
