Hořká lekce: Proč ChatGPT Zvítězilo nad ručně vyrobenými výpočetními technikami
Stručně
Esej profesora Rich Suttona z roku 2019 „The Bitter Lesson“ předpovídá významný pokrok v AI, jako např. ChatGPT/GPT-4 a OpenAI's metodiky.
Text zdůrazňuje změnu paradigmatu v AI, kde výpočetní metody dominují výkonu bez lidské intuice.
Nicméně, mnoho výzkumníci nadále prosazují přístupy založené na intuici, přehlížejíc potenciál výpočtově řízených metod.
Esej "Hořká lekce“, kterou napsal profesor Rich Sutton v roce 2019, od té doby získala na důležitosti pro odborníky na strojové učení a lidi, kteří se zajímají o pochopení budoucnosti AI. Statistiky uvedené v tomto dokumentu předvídaly důležitý vývoj v oblasti umělé inteligence, včetně vzniku ChatGPT/GPT-4 a přijetí OpenAI's metodiky.
Jádro „The Bitter Lesson“ zkoumá změnu paradigmatu na poli AI. V minulosti měli vědci studující AI tendenci si myslet, že vývoj pokročilé AI vyžaduje pozoruhodný, osobitý přístup, také známý jako „indukční zkreslení“. Tato myšlenka naráží na přidání specializovaných informací nebo intuitivní pochopení konkrétního problému, které pak nasměruje cestu řešení stroje.
Ústřední téma „The Bitter Lesson“ zkoumá změnu paradigmatu ve studiu umělé inteligence. Dříve měli výzkumníci studující AI sklon věřit, že vytvoření pokročilé AI vyžaduje pozoruhodný, jedinečný přístup. Toto zkreslení se nazývá „indukční zkreslení“. Tento koncept navrhuje přidat specializované znalosti nebo intuitivní vhled do konkrétního problému, který pak řídí cestu řešení stroje.
Ale stal se zřejmým opakující se vzorec. Výzkumníci opakovaně zjistili, že pouhým přidáním více dat a výpočetního výkonu, mohly by překonat výsledky vytvořené těmito pečlivě vytvořenými metodami. Tento vzorec nebyl specifický pro jedno pole, ale objevil se v šachách, go, starcraft a pravděpodobně také v nethacku. Konvoluční neuronové sítěnapříklad v oblasti počítačového vidění dosahují lepších výsledků než manuální techniky SIFT. Je zajímavé poznamenat, že vynálezce SIFT později řekl, že kdyby v době, kdy prováděl svůj výzkum, existovaly neuronové sítě, zvolil by tento postup. podobné tomuto, LSTM překonaly všechny systémy založené na pravidlech v oboru strojového překladu. Pomocí jednoduché strategie „přidat více vrstev“ ChatGPT/GPT-4, přední příklad tohoto trendu, dokázal překonat vysoce rozvinuté modely vytvořené počítačovými lingvisty.
Jádrem Suttonovy „hořké lekce“ je, že výpočetní metody, které nejsou modifikovány lidskou intuicí, často převyšují ostatní přístupy, pokud jde o výkon. Toto chápání však nebylo široce přijímáno. Mnoho výzkumníků stále sleduje komplexní strategie založené na intuici a často ignoruje potenciál inkluzivních přístupů založených na výpočtech.
Pět důvodů proč GPT zvítězil nad ručně vyrobenými výpočetními technikami:
- Škálovatelnost: Výpočtové metody, zvláště když jsou rozšířeny o více dat, mají potenciál se vyvíjet a přizpůsobovat s pokrokem technologie, díky čemuž jsou odolnější vůči budoucnosti.
- Účinnost: Obecné metody založené na výpočtech a datech trvale překonávají specializované metody založené na lidské intuici v různých oblastech, od her jako šachy a Go až po strojový překlad a počítačové vidění.
- Široká použitelnost: Tyto obecné metody založené na výpočtech jsou univerzální a lze je použít v různých oborech, aniž by bylo nutné vylepšovat specifická doména.
- Jednoduchost: Systémy postavené na raw výpočetní síla a data bývají ve svém přístupu jednodušší, bez nutnosti složitých úprav na základě lidské intuice.
- Konzistentní výkon: Jak ukazují příklady jako ChatGPT/GPT-4Modely založené na výpočtech mohou dosahovat trvale vysokého výkonu, který často překonává specializované metody.
Původní esej je neocenitelným nástrojem pro lepší pochopení pohledu profesora Suttona a principů, kterými se řídí tato trajektorie umělé inteligence.
Článek byl inspirován kanálem Telegram “Znovu Boris."
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
