Výskumníci spochybňujú predstavu „vznikajúcich schopností“ veľkých jazykových modelov
Stručne
Apokalypsa AGI vyvoláva obavy v dôsledku náhleho fenoménu veľkých jazykových modelov preukazovanie schopností že menšie modely vraj nemajú.
Tento jav sa nazýva „vznikajúce schopnosti veľkých jazykových modelov“.
Autori článku „Sú vznikajúce schopnosti veľkých jazykových modelov zázrakom? tvrdia, že efekt vznikajúcich schopností nie je fatamorgána, ale skôr predvídateľný rast schopnosti vykonávať úlohy.
Ukazujú, že prinajmenšom 92 % problémov na Big Bench nemá náhly prielom pre veľké modely a kvalita ich modelov rastie plynulo a predvídateľne so zvyšujúcou sa veľkosťou modelov.
Pri nedávnom skúmaní potenciálnych schopností veľkých jazykových modelov výskumníci spochybňujú pojem „vznikajúce schopnosti“ a vrhajú svetlo na predvídateľnejší aspekt ich funkčnosti. Článok s názvom „Odhalenie reality vznikajúcich schopností veľkých jazykových modelov“ upozorňuje na nesprávnu interpretáciu metrík, ktorá viedla k mylnej predstave, že tieto modely spontánne získavajú pokročilé zručnosti.
Koncept „vznikajúce schopnosti” v kontexte veľkých jazykových modelov, ako je napr GPT série, vyvolalo obavy týkajúce sa potenciálu týchto modelov vyvinúť nepredvídané schopnosti podobné ľudskému vedomiu. Tento článok tvrdí, že tieto predpoklady boli založené na chybnom pochopení skutočného správania a schopností modelov.
Bežne pozorovaný fenomén, keď väčšie modely zdanlivo získavajú novoobjavené schopnosti, ako je abstraktné uvažovanie, riešenie problémov a dokonca aj humor, bol vytvorený ako „vznikajúce schopnosti veľkých jazykových modelov“. Autori článku tvrdia, že tieto schopnosti nie sú také spontánne, ako sa zdajú, ale skôr výsledkom zavádzajúcich metrík hodnotenia.
Na ilustráciu svojho názoru vedci zvažujú úlohu „uhádnuť hádanku“, problém, kde sa vyžaduje jazykový model, aby pochopil hádanku v prirodzenom jazyku a odpovedal správnou odpoveďou v prirodzenom jazyku. Kvalita odpovedí sa tradične hodnotí pomocou binárnej metriky: odpovedi sa pridelí skóre 1, ak sa presne zhoduje so správnou odpoveďou, a inak skóre 0.
Jadro veci spočíva v citlivosti metriky na zložitosť úlohy a počet parametrov modelu. Výskumníci odhaľujú, že táto binárna metrika vedie k a klamlivé vnímanie „vynárajúcich sa schopností“. Menšie modely často vykazujú zanedbateľnú presnosť (eps) v tejto metrike, zatiaľ čo väčšie modely, najmä tie s vysokým počtom parametrov, dosahujú pozoruhodné úrovne presnosti (acc > 0.5).
Článok tvrdí, že tento zjavný posun v schopnostiach nenaznačuje, že modely spontánne získavajú komplexné zručnosti. Namiesto toho, schopnosť modelov porozumieť a generovať jemnejšie odpovede pramení z dôkladnejšieho hodnotenia ich výstupov. Zameraním sa skôr na pravdepodobnostnú zhodu a sémantickú koherenciu než na presné zhody reťazcov výskumníci ukazujú, že progresie modelov vo výkone sleduje logickejšiu trajektóriu bez ohľadu na ich veľkosť.
Skúmanie vývoja výkonnosti modelu s meniacimi sa parametrami
V analytickom výskume výskumníci odhaľujú jemné mechanizmy, ktoré stoja za vnímanými „vznikajúcimi schopnosťami“. veľké jazykové modely. Štúdia spochybňuje vplyv superdiskrétnych metrík pri hodnotení výkonnosti modelu a objasňuje prediktívnejšie chápanie ich schopností pri rozširovaní parametrov modelu.
Prevládajúci pojem „vznikajúce schopnosti“ v expanzívnych jazykových modeloch vyvolal diskusie a vyvolal obavy z potenciálnych objavov. Táto štúdia sa snaží rozlúštiť mechaniku, ktorá je základom tohto javu, a rozlúštiť, či tieto modely skutočne vykazujú náhle, bezprecedentné schopnosti, alebo či tieto vnímané pokroky možno pripísať inej príčine.
Základom štúdie je dôkladné vyhodnotenie metrík použitých na meranie výkonnosti modelu. Výskumníci tvrdia, že použitie superdiskrétnych metrík, najmä konvenčnej binárnej metriky, ktorá určuje presné zhody reťazcov, môže skresliť interpretáciu veľkých schopnosti jazykového modelu. Štúdia starostlivo analyzuje, ako sa distribúcia pravdepodobnosti odpovedí generovaných modelom vyvíja ako mierka parametrov modelu.
Na rozdiel od pojmu „vznikajúce schopnosti“ štúdia odhaľuje systematickejší trend. S rastúcou veľkosťou modelu sa zlepšuje jeho schopnosť priraďovať vyššie pravdepodobnosti vhodným odpovediam a nižšie pravdepodobnosti nesprávnym. To odzrkadľuje neustále zlepšovanie schopnosti modelu vhodne riešiť problémy v širokom rozsahu veľkostí. Výskum v podstate naznačuje, že proces učenia modelov sa riadi dobredefined trajektória zlepšenia skôr ako náhly skok.
Autori zavádzajú zmenu paradigmy návrhom nahradenia diskrétnych metrík spojitými. Táto zmena ponúka jasnejší obraz o vývoji výkonu. Prostredníctvom svojej analýzy výskumníci zistili, že približne 92 % z nich Problémy Big Bench vykazujú plynulý a predvídateľný rast kvality pri zväčšovaní veľkosti modelu. Toto zistenie spochybňuje predstavu, že väčšie modely zažívajú náhle prelomy a namiesto toho zdôrazňuje postupnejší a očakávanejší vývoj.
Štúdia rozširuje svoje poznatky, aby potvrdila svoje tvrdenia. Ukazuje, že rovnaký efekt „vynárajúcej sa schopnosti“ možno umelo simulovať pomocou konvenčných autokódovačov, čo naznačuje, že výber metrík významne ovplyvňuje vnímané výsledky. Toto odhalenie rozširuje rozsah dôsledkov štúdie a demonštruje jej význam nad rámec samotných jazykových modelov.
Výskumníci zdôrazňujú, že ich výsledky nie definatívne negujú potenciál pre „vznikajúce schopnosti“ alebo vedomie vo veľkých jazykových modeloch. Ich zistenia však povzbudzujú výskumníkov, aby k takýmto tvrdeniam pristupovali s odlišnou perspektívou. Štúdia namiesto unáhleného extrapolovania a vytvárania extrémnych záverov podčiarkuje dôležitosť starostlivého vyšetrovania a komplexnej analýzy.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
