La lliçó amarga: per què ChatGPT Va triomfar sobre les tècniques computacionals artesanals
En breu
L'assaig del 2019 del professor Rich Sutton, "The Bitter Lesson", prediu avenços significatius en IA, com ara ChatGPT/GPT-4 i OpenAImetodologies de.
El text destaca el canvi de paradigma en IA, on els mètodes computacionals dominen el rendiment sense la intuïció humana.
Tot i això, molts els investigadors continuen perseguint enfocaments basats en la intuïció, passant per alt el potencial dels mètodes basats en càlculs.
L'assaig "La lliçó amarga”, escrit pel professor Rich Sutton el 2019, des de llavors ha guanyat importància per als experts en aprenentatge automàtic i les persones interessades a entendre el futur de la IA. Els coneixements proporcionats en aquest document van preveure desenvolupaments importants en IA, inclosa l'aparició de ChatGPT/GPT-4 i l'acceptació de OpenAImetodologies de.
El nucli de "The Bitter Lesson" explora un canvi de paradigma en el camp de la IA. En el passat, els científics que estudiaven la IA tenien tendència a pensar que el desenvolupament d'IA avançada requeria un enfocament distintiu i notable, també conegut com a "biaix inductiu". Aquesta idea al·ludeix a l'addició d'informació especialitzada o comprensió intuïtiva d'un problema específic, que després dirigeix la ruta de solució de la màquina.
El tema central de "The Bitter Lesson" examina un canvi de paradigma en l'estudi de la intel·ligència artificial. Anteriorment, els investigadors que estudiaven la IA tenien la propensió a creure que la creació d'IA avançada requeria un enfocament excepcional i únic. Aquest biaix s'anomena "biaix inductiu". Aquest concepte suggereix l'addició de coneixements especialitzats o una visió intuïtiva d'un problema particular, que després dirigeix la ruta de solució de la màquina.
Però es va fer evident un patró recurrent. Els investigadors ho van trobar repetidament simplement afegint-ne més dades i potència de càlcul, podrien superar els resultats produïts per aquests mètodes minuciosament elaborats. Aquest patró no era específic d'un camp, sinó que també apareixia a escacs, go, starcraft i probablement també nethack. Xarxes neuronals convolucionals, per exemple, tenen un millor rendiment en el camp de la visió per ordinador que les tècniques manuals com SIFT. És interessant observar que l'inventor de SIFT va dir més tard que si les xarxes neuronals haguessin existit quan estava realitzant la seva investigació, hauria triat aquest curs d'acció. Similar a això, Els LSTM van superar tots els sistemes basats en regles en el camp de la traducció automàtica. Utilitzant una estratègia senzilla d'"afegir més capes", ChatGPT/GPT-4, un exemple destacat d'aquesta tendència, va ser capaç de superar models molt desenvolupats creats per lingüistes computacionals.
El nucli de la "lliçó amarga" de Sutton és que els mètodes computacionals que no es modifiquen per la intuïció humana sovint superen altres enfocaments en termes de rendiment. Aquesta comprensió, però, no ha estat àmpliament acceptada. Molts investigadors encara persegueixen estratègies complexes basades en la intuïció, ignorant sovint el potencial dels enfocaments inclusius i basats en el càlcul.
Cinc raons per les quals GPT va triomfar sobre les tècniques computacionals artesanals:
- Escalabilitat: Els mètodes computacionals, especialment quan s'amplien amb més dades, tenen el potencial d'evolucionar i adaptar-se a mesura que avança la tecnologia, fent-los més preparats per al futur.
- Eficiència: Els mètodes generals basats en càlculs i dades han superat constantment els mètodes especialitzats basats en la intuïció humana en diversos dominis, des de jocs com els escacs i Go fins a la traducció automàtica i la visió per ordinador.
- Àmplia aplicabilitat: Aquests mètodes generals basats en càlculs són versàtils i es poden aplicar en diverses disciplines sense necessitat d'ajustos específics del domini.
- Senzillesa: Sistemes construïts en brut potència computacional i les dades solen ser més senzilles en el seu enfocament, sense necessitat d'ajustaments complexos basats en la intuïció humana.
- Rendiment coherent: Com ho demostren exemples com ChatGPT/GPT-4, els models basats en càlcul poden assolir un alt rendiment constant, sovint superant els mètodes especialitzats.
L'assaig original és una eina inestimable per entendre millor el punt de vista del professor Sutton i els principis que guien aquesta trajectòria de la IA.
L'article està inspirat en el canal de Telegram "Boris de nou."
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
