A kutatók megkérdőjelezik a nagy nyelvi modellek „feltörekvő képességeinek” fogalmát
Röviden
Az AGI apokalipszis aggodalomra ad okot a hirtelen nagy nyelvi modellek jelensége miatt képességek bemutatása hogy a kisebb modelleknél a jelek szerint nincs.
Ezt a jelenséget „a nagy nyelvi modellek feltörekvő képességeinek” nevezik.
Az „A nagy nyelvi modellek feltörekvő képességei egy délibáb?” című cikk szerzői. azzal érvelnek, hogy a feltörekvő képességek hatása nem délibáb, hanem a feladatok elvégzésének képességének előre látható növekedése.
Azt mutatják, hogy a Big Bench-problémák legalább 92%-a nem okoz hirtelen áttörést a nagy modelleknél, és modelljeik minősége zökkenőmentesen és kiszámíthatóan nő a modellek méretének növekedésével.
A nagy nyelvi modellek potenciális képességeinek közelmúltbeli vizsgálata során a kutatók megkérdőjelezik a „feltörekvő képességek” fogalmát, és rávilágítanak működésük egy előre láthatóbb aspektusára. A cikk címe "A nagy nyelvi modellek kibontakozó képességeinek valóságának leleplezése” hívja fel a figyelmet a mérőszámok félreértelmezésére, amely ahhoz a tévhithez vezetett, hogy ezek a modellek spontán módon sajátítanak el haladó készségeket.
A „kialakuló képességek” olyan nagy nyelvi modellekkel összefüggésben, mint a GPT sorozat, aggodalmakat szült azzal kapcsolatban, hogy ezek a modellek az emberi tudathoz hasonló, előre nem látható képességeket fejleszthetnek ki. Ez a tanulmány azt állítja, hogy ezek a feltételezések a modellek tényleges viselkedésének és képességeinek hibás értelmezésén alapultak.
Azt a gyakran megfigyelt jelenséget, amikor a nagyobb modellek látszólag újonnan felfedezett képességekre tesznek szert, mint például az absztrakt érvelés, problémamegoldás és még a humor is, a „nagy nyelvi modellek feltörekvő képességeinek” nevezték el. A cikk szerzői azt állítják, hogy ezek a képességek nem olyan spontánok, mint amilyennek látszanak, hanem inkább félrevezető értékelési mérőszámok eredménye.
Álláspontjuk illusztrálására a kutatók a „találd meg a rejtvényt” feladatnak tekintik, egy olyan problémának, ahol a nyelvi modellnek meg kell értenie egy természetes nyelvi rejtvényt, és természetes nyelven kell helyes választ adnia. Hagyományosan a válaszok minőségét bináris mérőszámmal értékelték: a válasz 1-es pontszámot kap, ha pontosan egyezik a helyes válasszal, és 0-t egyébként.
A dolog lényege a metrika érzékenysége a feladat összetettségére és a modellparaméterek számára. A kutatók felfedik, hogy ez a bináris mérőszám a megtévesztő felfogás a „feltörekvő képességekről”. A kisebb modellek gyakran elhanyagolható pontosságot (eps) mutatnak ezen a mérőszámon, míg a nagyobb modellek, különösen a magas paraméterszámmal rendelkezők, úgy tűnik, figyelemre méltó pontossági szintet érnek el (acc > 0.5).
A cikk azt állítja, hogy ez a látszólagos eltolódás a képességekben nem utal arra, hogy a modellek spontán módon szereznek komplex készségeket. Ehelyett a modellek azon képessége, hogy megértsék és árnyaltabb válaszokat generáljanak, a kimeneteik alaposabb értékeléséből fakad. A pontos karakterláncegyezések helyett a valószínűségi egyezésre és a szemantikai koherenciára összpontosítva a kutatók azt mutatják, hogy a modellek fejlődése a teljesítményben logikusabb pályát követnek, méretüktől függetlenül.
Modellteljesítmény-evolúció vizsgálata változó paraméterekkel
Egy analitikus vizsgálat során a kutatók feltárják az észlelt „feltörekvő képességek” mögött meghúzódó finom mechanikát. nagy nyelvi modellek. A tanulmány megkérdőjelezi a szuperdiszkrét metrikák befolyását a modell teljesítményének értékelésére, és megvilágítja a képességeik előrejelzőbb megértését, ahogy a modellparaméterek bővülnek.
Az expanzív nyelvi modellekben a „feltörekvő képességek” uralkodó fogalma magával ragadta a vitákat és aggodalmakat adott a lehetséges áttörésekkel kapcsolatban. Ez a tanulmány arra törekszik, hogy feltárja a jelenség hátterében álló mechanikát, és megfejtse, hogy ezek a modellek valóban hirtelen, soha nem látott képességekkel rendelkeznek-e, vagy ezek az észlelt előrelépések más oknak tulajdoníthatók.
A tanulmány középpontjában a modell teljesítményének mérésére használt mérőszámok aprólékos értékelése áll. A kutatók azt állítják, hogy a szuperdiszkrét metrikák használata, különösen a hagyományos bináris metrika, amely meghatározza a pontos karakterláncegyezéseket, torzíthatja a nagy mérőszámok értelmezését. nyelvi modell képességei. A tanulmány aprólékosan elemzi, hogyan alakul a modell által generált válaszok valószínűségi eloszlása a modellparaméter-skálán.
A „feltörekvő képességek” fogalmával ellentétben a tanulmány egy szisztematikusabb tendenciát tár fel. A modell méretének növekedésével javul az a képessége, hogy a megfelelő válaszokhoz nagyobb, a helytelen válaszokhoz pedig kisebb valószínűségeket rendeljen. Ez a modell azon képességének következetes fejlesztését tükrözi, hogy a méretek széles skáláján megfelelően megoldja a problémákat. A kutatás lényegében azt sugallja, hogy a modellek tanulási folyamata jól követi adefined a javulás pályáját, nem pedig a hirtelen ugrást.
A szerzők paradigmaváltást vezetnek be azzal, hogy javaslatot tesznek a diszkrét metrikák folyamatosakkal való helyettesítésére. Ez a változás világosabb képet ad a teljesítmény alakulásáról. Elemzésük révén a kutatók megállapítják, hogy a becslések körülbelül 92%-a Big Bench problémák zökkenőmentes és kiszámítható minőségi növekedést mutatnak a modell méretének növekedésével. Ez a megállapítás megkérdőjelezi azt az elképzelést, hogy a nagyobb modellek hirtelen áttöréseket tapasztalnak, és ehelyett egy fokozatosabb és előre látható fejlődést emelnek ki.
A tanulmány kiterjeszti betekintéseit, hogy igazolja állításait. Bemutatja, hogy ugyanaz a „feltörekvő képesség” hatás mesterségesen szimulálható hagyományos autoenkóderekkel, ami arra utal, hogy a mérőszámok megválasztása jelentősen befolyásolja az észlelt eredményeket. Ez a feltárás kiszélesíti a tanulmány hatókörét, bizonyítva annak relevanciáját a nyelvi modelleken túl.
A kutatók hangsúlyozzák, hogy eredményeik nem defihatározottan tagadják a „feltörekvő képességek” vagy a tudatosság lehetőségét a nagy nyelvi modellekben. Eredményeik azonban arra ösztönzik a kutatókat, hogy árnyalt nézőpontból közelítsék meg az ilyen állításokat. Ahelyett, hogy elhamarkodottan extrapolálna és szélsőséges következtetéseket vonna le, a tanulmány az aprólékos vizsgálat és az átfogó elemzés fontosságát hangsúlyozza.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
