Výzkumníci zpochybňují představu o „vynořujících se schopnostech“ velkých jazykových modelů
Stručně
Apokalypsa AGI je znepokojivá kvůli fenoménu velkých jazykových modelů náhle prokazování schopností že menší modely, jak se zdá, nemají.
Tento jev se nazývá „vznikající schopnosti velkých jazykových modelů“.
Autoři článku „Jsou vznikající schopnosti velkých jazykových modelů zázrakem?“ tvrdí, že efekt vznikajících schopností není přelud, ale spíše předvídatelný růst schopnosti plnit úkoly.
Ukazují, že minimálně 92 % problémů na Big Bench nemá u velkých modelů náhlý průlom a kvalita jejich modelů roste hladce a předvídatelně s rostoucí velikostí modelů.
Při nedávném zkoumání potenciálních schopností velkých jazykových modelů výzkumníci zpochybňují pojem „vznikající schopnosti“ a vrhají světlo na předvídatelnější aspekt jejich funkčnosti. Článek s názvem „Odhalení reality vznikajících schopností velkých jazykových modelů“ upozorňuje na nesprávnou interpretaci metrik, která vedla k mylné představě, že tyto modely spontánně získávají pokročilé dovednosti.
Koncept „vznikající schopnosti” v kontextu velkých jazykových modelů, jako je např GPT série, podnítila obavy ohledně potenciálu těchto modelů vyvinout nepředvídané schopnosti podobné lidskému vědomí. Tento článek tvrdí, že tyto předpoklady byly založeny na chybném pochopení skutečného chování a schopností modelů.
Běžně pozorovaný fenomén, kdy větší modely zdánlivě získávají nově nalezené schopnosti, jako je abstraktní uvažování, řešení problémů a dokonce i humor, byl vytvořen jako „vznikající schopnosti velkých jazykových modelů“. Autoři článku tvrdí, že tyto schopnosti nejsou tak spontánní, jak se zdá, ale spíše výsledkem zavádějících hodnotících metrik.
Aby ilustrovali svůj názor, vědci zvažují úkol „uhodnout hádanku“, problém, kdy je jazykový model vyžadován k tomu, aby porozuměl hádance přirozeného jazyka a odpověděl správnou odpovědí v přirozeném jazyce. Tradičně byla kvalita odpovědí hodnocena pomocí binární metriky: odpovědi je přiřazeno skóre 1, pokud přesně odpovídá správné odpovědi, a skóre 0 jinak.
Jádro věci spočívá v citlivosti metriky na složitost úkolu a počet parametrů modelu. Výzkumníci odhalují, že tato binární metrika vede k a klamné vnímání „vynořujících se schopností“. Menší modely často vykazují zanedbatelnou přesnost (eps) této metriky, zatímco větší modely, zejména ty s vysokým počtem parametrů, dosahují pozoruhodných úrovní přesnosti (acc > 0.5).
Článek tvrdí, že tento zřejmý posun ve schopnostech nenaznačuje, že modely spontánně získávají komplexní dovednosti. Schopnost modelů porozumět a generovat jemnější odpovědi místo toho pramení z pečlivějšího hodnocení jejich výstupů. Zaměřením se na pravděpodobnostní shodu a sémantickou koherenci spíše než na přesné shody řetězců vědci ukazují, že progrese modelů ve výkonu sleduje logičtější trajektorii, bez ohledu na jejich velikost.
| PODOBNÉ ČLÁNKY: Evoluce chatbotů z éry T9 a GPT-1 na ChatGPT |
Zkoumání vývoje výkonu modelu s měnícími se parametry
Při analytickém zkoumání výzkumníci odhalují jemné mechanismy za vnímanými „vznikajícími schopnostmi“. velké jazykové modely. Studie zpochybňuje vliv superdiskrétních metrik při hodnocení výkonnosti modelu a objasňuje předvídatelnější chápání jejich schopností s rozšiřováním parametrů modelu.
Převládající pojem „vznikající schopnosti“ v rozsáhlých jazykových modelech podnítil diskuse a vyvolal obavy z potenciálních průlomů. Tato studie se snaží odhalit mechaniku, která je základem tohoto jevu, a rozluštit, zda tyto modely skutečně vykazují náhlé, bezprecedentní schopnosti, nebo zda lze tyto vnímané pokroky připsat jiné příčině.
Jádrem studie je pečlivé vyhodnocení metrik používaných k měření výkonnosti modelu. Výzkumníci tvrdí, že použití superdiskrétních metrik, zejména konvenční binární metriky, která určuje přesné shody řetězců, může zkreslit interpretaci velkých schopnosti jazykového modelu. Studie pečlivě analyzuje, jak se rozložení pravděpodobnosti odpovědí generovaných modelem vyvíjí jako měřítko parametrů modelu.
Na rozdíl od pojmu „vznikající schopnosti“ studie odhaluje systematičtější trend. S rostoucí velikostí modelu se zlepšuje jeho schopnost přiřazovat vyšší pravděpodobnosti vhodným odpovědím a nižší pravděpodobnosti nesprávným. To odráží konzistentní vylepšení schopnosti modelu efektivně řešit problémy v široké škále velikostí. Výzkum v podstatě naznačuje, že proces učení modelů probíhá dobředefined trajektorie zlepšení spíše než náhlý skok.
Autoři zavádějí změnu paradigmatu tím, že navrhují nahrazení diskrétních metrik spojitými. Tato změna nabízí jasnější obrázek o vývoji výkonu. Prostřednictvím své analýzy vědci zjistili, že přibližně 92 % z nich Problémy Big Bench vykazují plynulý a předvídatelný růst kvality s rostoucí velikostí modelu. Toto zjištění zpochybňuje představu, že větší modely zažívají náhlé průlomy, a místo toho zdůrazňuje pozvolnější a očekávanější vývoj.
Studie rozšiřuje své poznatky, aby potvrdila svá tvrzení. Ukazuje, že stejný efekt „vynořující se schopnosti“ lze uměle simulovat pomocí konvenčních autokodérů, což naznačuje, že výběr metrik významně ovlivňuje vnímané výsledky. Toto odhalení rozšiřuje rozsah důsledků studie a ukazuje její relevanci nad rámec samotných jazykových modelů.
Výzkumníci zdůrazňují, že jejich výsledky nikoli definitivně negovat potenciál pro „vznikající schopnosti“ nebo vědomí ve velkých jazykových modelech. Jejich zjištění však povzbuzují výzkumníky, aby k takovým tvrzením přistupovali s odlišnou perspektivou. Spíše než ukvapené extrapolace a vytváření extrémních závěrů studie podtrhuje důležitost pečlivého vyšetřování a komplexní analýzy.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
