Den bitre lektie: Hvorfor ChatGPT Sejrede over håndlavede beregningsteknikker
Kort sagt
Professor Rich Suttons essay fra 2019, "The Bitter Lesson", forudsiger betydelige fremskridt inden for AI, som f.eks. ChatGPT/GPT-4 , OpenAI's metoder.
Teksten fremhæver paradigmeskiftet i AI, hvor beregningsmetoder dominerer præstation uden menneskelig intuition.
Dog mange forskere fortsætter med at forfølge intuitionsbaserede tilgange, der overser potentialet i beregningsdrevne metoder.
Essayet"Den bitre lektion", skrevet af professor Rich Sutton i 2019, har siden fået betydning for maskinlæringseksperter og folk, der er interesserede i at forstå fremtiden for kunstig intelligens. Indsigt i dette dokument forudså vigtige udviklinger inden for kunstig intelligens, herunder fremkomsten af ChatGPT/GPT-4 og accept af OpenAI's metoder.
Kernen i "The Bitter Lesson" udforsker et paradigmeskifte inden for AI. Tidligere havde forskere, der studerede AI, en tendens til at tro, at udvikling af avanceret AI krævede en bemærkelsesværdig, karakteristisk tilgang, også kendt som en "induktiv bias". Denne idé hentyder til tilføjelsen af specialiseret information eller intuitiv forståelse af et specifikt problem, som derefter styrer maskinens løsningsvej.
"The Bitter Lesson"'s centrale tema undersøger et paradigmeskifte i studiet af kunstig intelligens. Tidligere havde forskere, der studerede AI, en tilbøjelighed til at tro, at skabelsen af avanceret AI krævede en bemærkelsesværdig, unik tilgang. Denne bias omtales som den "induktive bias". Dette koncept foreslår tilføjelsen af specialiseret viden eller intuitiv indsigt i et bestemt problem, som derefter styrer maskinens løsningsvej.
Men et tilbagevendende mønster blev tydeligt. Det fandt forskere gentagne gange ved blot at tilføje mere data og regnekraft, kunne de udkonkurrere resultaterne produceret af disse omhyggeligt udformede metoder. Dette mønster var ikke specifikt for ét felt, men dukkede op i skak, go, starcraft og sandsynligvis også nethack. Konvolutionelle neurale netværk, for eksempel klarer sig bedre inden for computersyn end manuelle teknikker som SI. Det er interessant at bemærke, at opfinderen af SIFT senere sagde, at hvis neurale netværk havde eksisteret, da han udførte sin forskning, ville han have valgt den fremgangsmåde. I lighed med dette, LSTM'er klarede sig bedre end alle regelbaserede systemer inden for maskinoversættelse. Ved at bruge en simpel "tilføj flere lag"-strategi, ChatGPT/GPT-4, et ledende eksempel på denne tendens, var i stand til at overgå højt udviklede modeller skabt af computerlingvister.
Kernen i Suttons "bitre lektion" er, at beregningsmetoder, der ikke er modificeret af menneskelig intuition, ofte udkonkurrerer andre tilgange med hensyn til ydeevne. Denne forståelse er dog ikke blevet bredt accepteret. Mange forskere forfølger stadig komplekse, intuitionsbaserede strategier og ignorerer ofte potentialet i inkluderende, beregningsbaserede tilgange.
Fem grunde hvorfor GPT sejrede over håndlavede beregningsteknikker:
- Skalerbarhed: Beregningsmetoder, især når de er udvidet med flere data, har potentialet til at udvikle sig og tilpasse sig efterhånden som teknologien skrider frem, hvilket gør dem mere fremtidssikrede.
- Effektivitet: Generelle metoder baseret på beregninger og data har konsekvent overgået specialiserede, menneskelige intuition-baserede metoder på tværs af forskellige domæner, fra spil som skak og Go til maskinoversættelse og computersyn.
- Bred anvendelighed: Disse generelle, beregningsdrevne metoder er alsidige og kan anvendes på tværs af forskellige discipliner uden behov for domænespecifikke tweaks.
- Enkelhed: Systemer bygget på rå computerkraft og data har en tendens til at være enklere i deres tilgang uden behov for indviklede justeringer baseret på menneskelig intuition.
- Konsekvent ydeevne: Som vist ved eksempler som ChatGPT/GPT-4, kan beregningsbaserede modeller opnå ensartet høj ydeevne, der ofte overgår specialiserede metoder.
Det originale essay er et uvurderligt værktøj til at få en bedre forståelse af professor Suttons synspunkt og de principper, der styrer denne AI-bane.
Artiklen er inspireret af Telegram-kanalen "Boris igen."
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
