Horká lekcia: Prečo ChatGPT Triumfoval nad ručne vyrobenými výpočtovými technikami
Stručne
Esej profesora Richa Suttona z roku 2019 „The Bitter Lesson“ predpovedá významné pokroky v AI, ako napr. ChatGPT/GPT-4 a OpenAI' s metodikami.
Text zdôrazňuje zmenu paradigmy v AI, kde výpočtové metódy dominujú výkonu bez ľudskej intuície.
Avšak veľa výskumníci pokračujú v prístupoch založených na intuícii, pričom sa prehliada potenciál metód založených na výpočtoch.
Esej "Horká lekcia“, ktorú napísal profesor Rich Sutton v roku 2019, odvtedy získala na dôležitosti pre odborníkov na strojové učenie a ľudí, ktorí sa zaujímajú o pochopenie budúcnosti AI. Prehľady uvedené v tomto dokumente predpovedali dôležitý vývoj v oblasti AI vrátane vzniku ChatGPT/GPT-4 a prijatie OpenAI' s metodikami.
Jadro „The Bitter Lesson“ skúma zmenu paradigmy v oblasti AI. V minulosti mali vedci, ktorí študovali AI, tendenciu myslieť si, že vývoj pokročilej AI si vyžaduje pozoruhodný, osobitý prístup, známy aj ako „induktívna zaujatosť“. Táto myšlienka odkazuje na pridanie špecializovaných informácií alebo intuitívne pochopenie konkrétneho problému, ktoré potom nasmeruje cestu riešenia stroja.
Ústredná téma „Horká lekcia“ skúma zmenu paradigmy v štúdiu umelej inteligencie. Predtým mali výskumníci, ktorí študovali AI, sklon veriť, že vytvorenie pokročilej AI si vyžaduje pozoruhodný, jedinečný prístup. Táto odchýlka sa označuje ako „induktívna odchýlka“. Tento koncept navrhuje pridanie špecializovaných znalostí alebo intuitívneho náhľadu na konkrétny problém, ktorý potom riadi cestu riešenia stroja.
Objavil sa však opakujúci sa vzorec. Výskumníci opakovane zistili, že jednoduchým pridaním ďalších dátový a výpočtový výkon, mohli by prekonať výsledky dosiahnuté týmito starostlivo vytvorenými metódami. Tento vzor nebol špecifický pre jedno pole, ale objavil sa v šachu, go, starcraft a pravdepodobne aj v nethacku. Konvolučné neurónové sietenapríklad v oblasti počítačového videnia dosahujú lepšie výsledky ako manuálne techniky tříbil. Je zaujímavé všimnúť si, že vynálezca SIFT neskôr povedal, že ak by v čase, keď vykonával svoj výskum, existovali neurónové siete, zvolil by si takýto postup. podobné tomuto, LSTM prekonali všetky systémy založené na pravidlách v oblasti strojového prekladu. Pomocou jednoduchej stratégie „pridať viac vrstiev“ ChatGPT/GPT-4, popredný príklad tohto trendu, dokázal prekonať vysoko rozvinuté modely vytvorené počítačovými lingvistami.
Jadrom Suttonovej „trpkej lekcie“ je, že výpočtové metódy, ktoré nie sú modifikované ľudskou intuíciou, často prekonávajú iné prístupy, pokiaľ ide o výkon. Toto chápanie sa však nestalo široko akceptovaným. Mnohí výskumníci stále sledujú zložité stratégie založené na intuícii, pričom často ignorujú potenciál inkluzívnych prístupov založených na výpočtoch.
Päť dôvodov prečo GPT zvíťazili nad ručne vyrobenými výpočtovými technikami:
- škálovateľnosť: Výpočtové metódy, najmä ak sú rozšírené o viac údajov, majú potenciál sa vyvíjať a prispôsobovať s pokrokom technológie, vďaka čomu sú odolnejšie voči budúcnosti.
- Účinnosť: Všeobecné metódy založené na výpočtoch a údajoch neustále prekonávajú špecializované metódy založené na ľudskej intuícii v rôznych oblastiach, od hier ako šach a Go až po strojový preklad a počítačové videnie.
- Široká použiteľnosť: Tieto všeobecné metódy založené na výpočtoch sú všestranné a možno ich použiť v rôznych disciplínach bez potreby vylepšenia špecifických pre doménu.
- Jednoduchosť: Systémy postavené na raw výpočtová sila a údaje majú tendenciu byť jednoduchšie vo svojom prístupe, bez potreby zložitých úprav založených na ľudskej intuícii.
- Konzistentný výkon: Ako ukazujú príklady ako ChatGPT/GPT-4Modely založené na výpočtoch môžu dosahovať konzistentne vysoký výkon, ktorý často prekonáva špecializované metódy.
Pôvodná esej je neoceniteľným nástrojom na lepšie pochopenie pohľadu profesora Suttona a princípov, ktorými sa riadi táto trajektória AI.
Článok bol inšpirovaný kanálom Telegram “Opäť Boris."
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
