Den bittra lektionen: Varför ChatGPT Triumferade över handgjorda beräkningstekniker
I korthet
Professor Rich Suttons essä 2019, "The Bitter Lesson", förutspår betydande framsteg inom AI, som t.ex. ChatGPT/GPT-4 och OpenAIs metoder.
Texten belyser paradigmskiftet inom AI, där beräkningsmetoder dominerar prestanda utan mänsklig intuition.
Men många forskare fortsätter att driva intuitionsbaserade tillvägagångssätt, med förbise potentialen hos beräkningsdrivna metoder.
Uppsatsen "Den bittra lektionen”, skrivet av professor Rich Sutton 2019, har sedan dess fått betydelse för maskininlärningsexperter och människor som är intresserade av att förstå framtiden för AI. Insikterna i detta dokument förutsåg viktiga utvecklingar inom AI, inklusive uppkomsten av ChatGPT/GPT-4 och acceptans av OpenAIs metoder.
Kärnan i "The Bitter Lesson" utforskar ett paradigmskifte inom området AI. Tidigare hade forskare som studerade AI en tendens att tro att utveckling av avancerad AI krävde ett anmärkningsvärt, distinkt tillvägagångssätt, även känt som en "induktiv fördom". Denna idé anspelar på tillägg av specialiserad information eller intuitiv förståelse av ett specifikt problem, som sedan styr maskinens lösningsväg.
”The Bitter Lesson”s centrala tema undersöker ett paradigmskifte i studiet av artificiell intelligens. Tidigare hade forskare som studerade AI en benägenhet att tro att skapande av avancerad AI krävde ett anmärkningsvärt, unikt tillvägagångssätt. Denna förspänning kallas "induktiv förspänning". Detta koncept föreslår tillägg av specialiserad kunskap eller intuitiv insikt i ett visst problem, som sedan styr maskinens lösningsväg.
Men ett återkommande mönster blev uppenbart. Forskare fann det upprepade gånger genom att helt enkelt lägga till mer data och beräkningskraft, skulle de kunna överträffa resultaten som produceras av dessa noggrant utformade metoder. Det här mönstret var inte specifikt för ett område utan dök upp i schack, go, starcraft och förmodligen också i nethack. Konvolutional neurala nätverk, till exempel, presterar bättre inom datorseende än manuella tekniker som SÅLLA. Det är intressant att notera att uppfinnaren av SIFT senare sa att om neurala nätverk hade funnits när han utförde sin forskning, så skulle han ha valt det tillvägagångssättet. I likhet med detta, LSTM:er överträffade alla regelbaserade system inom området maskinöversättning. Genom att använda en enkel "lägg till fler lager"-strategi, ChatGPT/GPT-4, ett ledande exempel på denna trend, kunde överträffa högt utvecklade modeller skapade av beräkningslingvister.
Kärnan i Suttons "bittra läxa" är att beräkningsmetoder som inte modifieras av mänsklig intuition ofta överträffar andra tillvägagångssätt när det gäller prestanda. Denna förståelse har dock inte blivit allmänt accepterad. Många forskare driver fortfarande komplexa, intuitionsbaserade strategier och ignorerar ofta potentialen med inkluderande, beräkningsbaserade tillvägagångssätt.
Fem skäl varför GPT segrade över handgjorda beräkningstekniker:
- skalbarhet: Beräkningsmetoder, särskilt när de utökas med mer data, har potential att utvecklas och anpassas allt eftersom tekniken fortskrider, vilket gör dem mer framtidssäkra.
- Effektivitet (CT-värde) : Allmänna metoder baserade på beräkningar och data har konsekvent överträffat specialiserade, mänskliga intuitionsbaserade metoder över olika domäner, från spel som schack och Go till maskinöversättning och datorseende.
- Bred tillämplighet: Dessa generella, beräkningsdrivna metoder är mångsidiga och kan tillämpas över olika discipliner utan behov av domänspecifika justeringar.
- Enkelhet: System byggda på rå beräkningskraft och data tenderar att vara enklare i sitt tillvägagångssätt, utan behov av intrikata justeringar baserade på mänsklig intuition.
- Konsekvent prestanda: Som framgår av exempel som ChatGPT/GPT-4, kan beräkningsbaserade modeller uppnå konsekvent hög prestanda, ofta överträffa specialiserade metoder.
Den ursprungliga uppsatsen är ett ovärderligt verktyg för att få en bättre förståelse av professor Suttons synvinkel och principerna som styr denna AI-bana.
Artikeln var inspirerad av Telegram-kanalen "Boris igen."
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
