Katkera opetus: miksi ChatGPT Voitti käsintehdyt laskennalliset tekniikat
Lyhyesti
Professori Rich Suttonin vuoden 2019 essee "The Bitter Lesson" ennustaa merkittäviä edistysaskeleita tekoälyssä, kuten ChatGPT/GPT-4 ja OpenAImenetelmiä.
Teksti korostaa tekoälyn paradigman muutosta, jossa laskennalliset menetelmät hallitsevat suorituskykyä ilman ihmisen intuitiota.
Kuitenkin monet tutkijat jatkavat intuitioon perustuvia lähestymistapoja, unohtamatta laskentapohjaisten menetelmien potentiaalia.
Essee "Katkera oppitunti”, jonka professori Rich Sutton kirjoitti vuonna 2019, on sittemmin tullut tärkeäksi koneoppimisen asiantuntijoille ja ihmisille, jotka ovat kiinnostuneita ymmärtämään tekoälyn tulevaisuutta. Tässä asiakirjassa esitetyt oivallukset ennakoivat tekoälyn merkittäviä kehityskulkuja, mukaan lukien tekoälyn synty ChatGPT/GPT-4 ja hyväksyminen OpenAImenetelmiä.
The Bitter Lessonin ydin tutkii paradigman muutosta tekoälyn alalla. Aiemmin tekoälyä tutkivilla tiedemiehillä oli taipumus ajatella, että edistyneen tekoälyn kehittäminen vaati huomattavaa, erottuvaa lähestymistapaa, joka tunnetaan myös nimellä "induktiivinen harha". Tämä ajatus viittaa erikoistiedon lisäämiseen tai tietyn ongelman intuitiiviseen ymmärtämiseen, mikä sitten ohjaa koneen ratkaisupolkua.
”The Bitter Lessonin” keskeinen teema tarkastelee paradigman muutosta tekoälyn tutkimuksessa. Aiemmin tekoälyä tutkivilla tutkijoilla oli taipumus uskoa, että edistyneen tekoälyn luominen vaati merkittävää, ainutlaatuista lähestymistapaa. Tätä harhaa kutsutaan "induktiiviseksi biasiksi". Tämä konsepti ehdottaa erikoistiedon tai intuitiivisen näkemyksen lisäämistä tiettyyn ongelmaan, joka sitten ohjaa koneen ratkaisupolkua.
Mutta toistuva kuvio tuli ilmi. Tutkijat havaitsivat toistuvasti, että yksinkertaisesti lisäämällä enemmän dataa ja laskentatehoa, ne voisivat olla parempia kuin näiden huolellisesti suunniteltujen menetelmien tuottamat tulokset. Tämä kuvio ei ollut yhdelle alalle tyypillinen, mutta esiintyi shakissa, gossa, starcraftissa ja luultavasti myös nethackissa. Konvoluutiohermosverkotesimerkiksi suoriutuvat paremmin tietokonenäön alalla kuin manuaaliset tekniikat, kuten SEULOA. On mielenkiintoista huomata, että SIFT:n keksijä sanoi myöhemmin, että jos hermoverkkoja olisi ollut olemassa hänen suorittaessaan tutkimustaan, hän olisi valinnut tämän toimintatavan. Samanlainen kuin tämä, LSTM:t ylittivät kaikki sääntöpohjaiset järjestelmät konekäännösten alalla. Käyttämällä yksinkertaista "Lisää tasoja" -strategiaa, ChatGPT/GPT-4, tämän suuntauksen johtava esimerkki, pystyi ohittamaan laskennallisten lingvistien luomat pitkälle kehitetyt mallit.
Suttonin "katkeran oppitunnin" ydin on, että laskentamenetelmät, joita ihmisen intuitio ei muokkaa, ovat usein suorituskyvyltään muita lähestymistapoja parempia. Tätä ymmärrystä ei kuitenkaan ole hyväksytty laajalti. Monet tutkijat käyttävät edelleen monimutkaisia, intuitioon perustuvia strategioita jättäen usein huomioimatta inklusiivisten, laskelmiin perustuvien lähestymistapojen mahdollisuudet.
Viisi syytä miksi GPT voitti käsintehdyt laskentatekniikat:
- skaalautuvuus: Laskennalliset menetelmät, varsinkin kun niitä täydennetään suuremmalla tiedolla, voivat kehittyä ja mukautua tekniikan edetessä, mikä tekee niistä entistä kestävämpiä.
- Tehokkuus: Yleiset laskelmiin ja tietoihin perustuvat menetelmät ovat jatkuvasti ylittäneet erikoistuneet, intuitioon perustuvat menetelmät eri aloilla shakista ja Gosta konekäännökseen ja tietokonenäköön.
- Laaja sovellettavuus: Nämä yleiset, laskentaan perustuvat menetelmät ovat monipuolisia ja niitä voidaan soveltaa useilla eri aloilla ilman, että tarvitaan toimialuekohtaisia säätöjä.
- Yksinkertaisuus: Raaka-pohjaiset järjestelmät laskentateho ja data on yleensä yksinkertaisempaa lähestymistapaansa ilman, että tarvitaan monimutkaisia säätöjä, jotka perustuvat ihmisen intuitioon.
- Tasainen suorituskyky: Kuten esimerkit osoittavat, kuten ChatGPT/GPT-4, laskentapohjaisilla malleilla voidaan saavuttaa tasainen korkea suorituskyky, joka usein ylittää erikoismenetelmät.
Alkuperäinen essee on korvaamaton työkalu saada parempi käsitys professori Suttonin näkökulmasta ja tätä tekoälyä ohjaavista periaatteista.
Artikkeli on saanut inspiraationsa Telegram-kanavasta "Boris taas."
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
