Egy kutató szerint a mai nagy nyelvi modellek kis modellek lesznek OpenAI
Hyung Won Chung, egy kiváló mesterségesintelligencia-kutató, aki korábban a Google Brain alkalmazottja volt, jelenleg pedig a Google Brain tagja. OpenAI csapat elgondolkodtató, 45 perces beszédet tartott, amelyben a nagy nyelvi modellek világát tárta fel 2023-ban. Chung tapasztalattal rendelkezik ezen a területen; ő volt a Google újság első szerzője.Méretezési utasításokkal finomhangolt nyelvi modellek,”, amely azt vizsgálja, hogyan lehet nagy nyelvi modelleket betanítani az utasítások követésére.
Chung hangsúlyozza, hogy a kiterjedt nyelvi modellek világa dinamikus. Az LLM-ek világában a vezérelv folyamatosan fejlődik, ellentétben a hagyományos területekkel, ahol az alapvető feltételezések jellemzően stabilak maradnak. A modellek közelgő generációjával lehetségessé válhat az, amit jelenleg lehetetlennek vagy kivitelezhetetlennek gondolnak. Hangsúlyozza annak jelentőségét, hogy az LLM-képességekkel kapcsolatos legtöbb állítást az „egyelőre” szóval előzze meg. A modell végrehajthat egy feladatot; csak még nem tette meg.
A mai nagy modellek csak néhány év múlva lesznek kicsik
Hyung Won Chung, OpenAI
Az aprólékos dokumentáció és a reprodukálhatóság igénye AI kutatás Chung beszédének egyik legfontosabb tanulsága. Kulcsfontosságú a folyamatban lévő munka alapos dokumentálása, ahogy a terület fejlődik. Ez a stratégia garantálja, hogy a kísérletek gyorsan megismételhetők és újra megtekinthetők, lehetővé téve a kutatók számára, hogy a korábbi munkákra építsenek. Ezzel a gyakorlattal elismert, hogy a jövőben olyan képességek is kifejlődhetnek, amelyek a kezdeti kutatás során nem voltak praktikusak.
Chung előadásának egy részét az adatok és a modellpárhuzamosság bonyolultságának tisztázásának szenteli. Azok számára, akik szeretnének mélyebbre ásni az AI technikai vonatkozásait, ez a rész értékes betekintést nyújt e párhuzamossági technikák belső működésébe. Ezeknek a mechanizmusoknak a megértése elengedhetetlen az optimalizáláshoz nagyszabású modellképzés.
Chung azt állítja, hogy az LLM-előképzéshez használt jelenlegi célfüggvény, a Maximum Likelihood szűk keresztmetszetet jelent, ha valóban masszív léptéket kell elérni, például 10,000 XNUMX-szeres kapacitást. GPT-4. A gépi tanulás előrehaladtával a manuálisan tervezett veszteségfunkciók egyre korlátozóbbakká válnak.
Chung azt javasolja, hogy a mesterséges intelligencia fejlesztésének következő paradigmája magában foglalja a funkciók tanulását különálló algoritmusokon keresztül. Ez a megközelítés, bár gyerekcipőben jár, a jelenlegi korlátokon túlmutató méretezhetőség ígéretét hordozza magában. Kiemeli továbbá a folyamatban lévő erőfeszítéseket, mint például az emberi visszajelzésekből való tanulás megerősítését (RLHF) a szabálymodellezéssel, mint lépéseket ebbe az irányba, bár a kihívásokat még le kell küzdeni.
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
