Grenka lekcija: Zakaj ChatGPT Zmagal nad ročno izdelanimi računalniškimi tehnikami
Na kratko
Esej profesorja Richa Suttona iz leta 2019, »The Bitter Lesson«, napoveduje pomemben napredek v AI, kot je npr. ChatGPT/GPT-4 in OpenAInjegove metodologije.
Besedilo poudarja spremembo paradigme v AI, kjer računalniške metode prevladujejo nad zmogljivostjo brez človeške intuicije.
Vendar pa mnogi raziskovalci še naprej sledijo pristopom, ki temeljijo na intuiciji, ob upoštevanju potenciala metod, ki temeljijo na izračunih.
Esej "Grenka lekcija,« ki ga je leta 2019 napisal profesor Rich Sutton, je od takrat postalo pomembno za strokovnjake za strojno učenje in ljudi, ki jih zanima razumevanje prihodnosti umetne inteligence. Vpogledi v tem dokumentu predvidevajo pomemben razvoj umetne inteligence, vključno s pojavom ChatGPT/GPT-4 in sprejemanje OpenAInjegove metodologije.
Jedro »Grenke lekcije« raziskuje spremembo paradigme na področju umetne inteligence. V preteklosti so znanstveniki, ki so preučevali umetno inteligenco, mislili, da je za razvoj napredne umetne inteligence potreben izjemen, značilen pristop, znan tudi kot »induktivna pristranskost«. Ta ideja namiguje na dodajanje specializiranih informacij ali intuitivnega razumevanja določene težave, ki nato usmerja pot rešitve stroja.
Osrednja tema "Grenke lekcije" preučuje spremembo paradigme v preučevanju umetne inteligence. Prej so bili raziskovalci, ki so preučevali umetno inteligenco, nagnjeni k prepričanju, da ustvarjanje napredne umetne inteligence zahteva izjemen, edinstven pristop. Ta pristranskost se imenuje "induktivna pristranskost". Ta koncept predlaga dodatek specializiranega znanja ali intuitivnega vpogleda v določen problem, ki nato usmerja pot rešitve stroja.
Toda ponavljajoči se vzorec je postal očiten. Raziskovalci so to večkrat ugotovili s preprostim dodajanjem več podatkov in računske moči, bi lahko presegli rezultate, ki jih ustvarijo te skrbno izdelane metode. Ta vzorec ni bil specifičen za eno področje, ampak se je pojavil v šahu, go, starcraftu in verjetno tudi nethacku. Konvolucionarne nevronske mreže, na primer, delujejo bolje na področju računalniškega vida kot ročne tehnike, kot je PRESEJANJE. Zanimivo je omeniti, da je izumitelj SIFT kasneje dejal, da če bi nevronske mreže obstajale, ko je opravljal svojo raziskavo, bi izbral to pot. Podobno temu, LSTM-ji so bili boljši od vseh sistemov, ki temeljijo na pravilih na področju strojnega prevajanja. Z uporabo preproste strategije »dodaj več plasti« ChatGPT/GPT-4, vodilni primer tega trenda, je lahko presegel visoko razvite modele, ki so jih ustvarili računalniški jezikoslovci.
Bistvo Suttonove "grenke lekcije" je, da računalniške metode, ki jih človeška intuicija ne spremeni, pogosto prekašajo druge pristope v smislu učinkovitosti. Vendar to razumevanje ni postalo splošno sprejeto. Mnogi raziskovalci še vedno sledijo zapletenim, na intuiciji temelječim strategijam, pri čemer pogosto zanemarjajo potencial vključujočih pristopov, ki temeljijo na izračunih.
Pet razlogov zakaj GPT zmagal nad ročno izdelanimi računalniškimi tehnikami:
- Prilagodljivost: Računalniške metode, zlasti če so nadgrajene z več podatki, se lahko razvijajo in prilagajajo z napredkom tehnologije, zaradi česar so bolj pripravljene na prihodnost.
- Učinkovitost: Splošne metode, ki temeljijo na izračunih in podatkih, dosledno presegajo specializirane metode, ki temeljijo na človeški intuiciji, na različnih področjih, od iger, kot sta šah in Go, do strojnega prevajanja in računalniškega vida.
- Široka uporabnost: Te splošne metode, ki temeljijo na računanju, so vsestranske in jih je mogoče uporabiti v različnih disciplinah brez potrebe po prilagoditvah, specifičnih za domeno.
- Preprostost: Sistemi, zgrajeni na surovem računska moč in podatki so v svojem pristopu ponavadi enostavnejši, brez potrebe po zapletenih prilagoditvah na podlagi človeške intuicije.
- Konsistentna zmogljivost: Kot je razvidno iz primerov, kot je ChatGPT/GPT-4, lahko modeli, ki temeljijo na izračunih, dosežejo dosledno visoko zmogljivost, ki pogosto presega specializirane metode.
Izvirni esej je neprecenljivo orodje za boljše razumevanje stališča profesorja Suttona in načel, ki vodijo to pot umetne inteligence.
Članek je nastal po navdihu kanala Telegram "Spet Boris."
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
