Tyrėjai meta iššūkį didelių kalbų modelių „kylančių gebėjimų“ sąvokai
Trumpai
AGI apokalipsė kelia susirūpinimą dėl staigaus didelių kalbų modelių reiškinio gebėjimų demonstravimas kurių atrodo, kad mažesni modeliai neturi.
Šis reiškinys vadinamas „atsirandančiais didelių kalbų modelių gebėjimais“.
Straipsnio „Ar atsirandantys didelių kalbų modelių gebėjimai yra miražas? teigia, kad atsirandančių gebėjimų poveikis nėra miražas, o greičiau nuspėjamas gebėjimo atlikti užduotis augimas.
Jie rodo, kad bent 92% „Big Bench“ problemų neturi staigaus proveržio dideliems modeliams, o jų modelių kokybė auga sklandžiai ir nuspėjamai didėjant modelių dydžiui.
Neseniai nagrinėdami galimus didelių kalbų modelių pajėgumus, mokslininkai meta iššūkį „atsirandančių gebėjimų“ sąvokai ir atskleidžia labiau nuspėjamą jų funkcionalumo aspektą. Straipsnis pavadinimu „Didžiųjų kalbų modelių naujų gebėjimų tikrovės atskleidimas“ atkreipia dėmesį į klaidingą metrikų interpretavimą, dėl kurio susidarė klaidinga nuomonė, kad šie modeliai spontaniškai įgyja pažangių įgūdžių.
„atsirandančių gebėjimų“ didelių kalbų modelių, tokių kaip GPT serijos, kurstė susirūpinimą dėl šių modelių potencialo sukurti nenumatytas galimybes, panašias į žmogaus sąmonę. Šiame dokumente teigiama, kad šios prielaidos buvo pagrįstos klaidingu tikrojo modelio elgesio ir galimybių supratimu.
Dažniausiai stebimas reiškinys, kai didesni modeliai, atrodo, įgyja naujų gebėjimų, tokių kaip abstraktus samprotavimas, problemų sprendimas ir net humoras, buvo pavadintas „atsirandančiais didelių kalbų modelių gebėjimais“. Straipsnio autoriai teigia, kad šie gebėjimai nėra tokie spontaniški, kaip atrodo, o klaidinančių vertinimo metrikų rezultatas.
Norėdami iliustruoti savo mintį, tyrėjai svarsto užduotį „atspėk mįslę“ – problemą, kai kalbos modelis turi suprasti natūralios kalbos mįslę ir atsakyti teisingu atsakymu natūralia kalba. Tradiciškai atsakymų kokybė buvo vertinama naudojant dvejetainę metriką: atsakymui priskiriamas 1 balas, jei jis tiksliai atitinka teisingą atsakymą, o kitaip – 0.
Esmė slypi metrikos jautrumui užduoties sudėtingumui ir modelio parametrų skaičiui. Tyrėjai atskleidžia, kad ši dvejetainė metrika lemia a apgaulingas suvokimas „atsirandančių gebėjimų“. Mažesni modeliai dažnai pasižymi nereikšmingu tikslumu (EPS) pagal šią metriką, o didesni modeliai, ypač turintys didelį parametrų skaičių, pasiekia puikų tikslumo lygį (acc > 0.5).
Straipsnyje teigiama, kad šis akivaizdus gebėjimų pokytis nerodo modelių, spontaniškai įgyjančių sudėtingų įgūdžių. Vietoj to, modelių gebėjimas suprasti ir generuoti niuansingesnius atsakymus kyla dėl kruopštesnio jų rezultatų vertinimo. Sutelkdami dėmesį į tikimybinį atitikimą ir semantinę darną, o ne tikslią eilučių atitiktį, mokslininkai parodo, kad modelių progresas spektaklyje seka logiškesnę trajektoriją, nepaisant jų dydžio.
Modelio veikimo evoliucijos tyrimas keičiant parametrus
Analitinio tyrimo metu mokslininkai atskleidžia subtilią mechaniką, slypinčią už suvokiamų „atsirandančių gebėjimų“ didelių kalbų modeliai. Tyrimas kvestionuoja superdiskrečių metrikų įtaką modelio veikimui ir išaiškina labiau nuspėjamą jų galimybių supratimą, plečiantis modelio parametrams.
Išplėstiniuose kalbos modeliuose vyraujanti sąvoka „atsirandantys gebėjimai“ sužavėjo diskusijas ir kėlė susirūpinimą dėl galimų proveržių. Šiuo tyrimu siekiama išsiaiškinti šio reiškinio mechaniką ir išsiaiškinti, ar šie modeliai iš tiesų pasižymi staigiomis, precedento neturinčiomis galimybėmis, ar šie suvokiami pasiekimai gali būti siejami su kita priežastimi.
Tyrimo esmė – kruopštus metrikų, naudojamų modelio veikimui įvertinti, įvertinimas. Tyrėjai teigia, kad naudojant itin diskrečią metriką, ypač įprastą dvejetainę metriką, kuri nustato tikslias eilučių atitiktis, gali iškreipti didelių kalbos modelio gebėjimai. Tyrime kruopščiai analizuojama, kaip modelio sugeneruotų atsakymų tikimybių pasiskirstymas vystosi kaip modelio parametrų skalė.
Priešingai nei „atsirandančių gebėjimų“ sąvoka, tyrimas atskleidžia sistemingesnę tendenciją. Didėjant modelio dydžiui, gerėja jo gebėjimas priskirti didesnes tikimybes tinkamiems atsakymams ir mažesnes tikimybes neteisingiems. Tai rodo nuoseklų modelio gebėjimo deramai spręsti problemas įvairiais dydžiais tobulinimą. Iš esmės tyrimas rodo, kad modelių mokymosi procesas vyksta geraidefined tobulėjimo trajektorija, o ne staigus šuolis.
Autoriai pristato paradigmos pokytį, siūlydami pakeisti diskrečią metriką nuolatinėmis. Šis pakeitimas suteikia aiškesnį našumo raidos vaizdą. Atlikę savo analizę, mokslininkai nustato, kad maždaug 92 proc Big Bench problemos sklandžiai ir nuspėjamai auga kokybė, kai didėja modelio dydis. Ši išvada meta iššūkį nuomonei, kad didesni modeliai patiria staigius proveržius, o vietoj to pabrėžia laipsniškesnį ir tikėtiną progresą.
Tyrimas išplečia savo įžvalgas, kad patvirtintų savo teiginius. Tai rodo, kad tą patį „kylančių gebėjimų“ efektą galima dirbtinai imituoti naudojant įprastus automatinius kodavimo įrenginius, o tai rodo, kad metrikos pasirinkimas daro didelę įtaką suvokiamiems rezultatams. Šis apreiškimas praplečia tyrimo implikacijų apimtį, parodydamas jo svarbą ne vien tik kalbos modeliams.
Tyrėjai pabrėžia, kad jų rezultatai ne defikategoriškai paneigti „atsirandančių gebėjimų“ ar sąmonės potencialą dideliuose kalbos modeliuose. Tačiau jų išvados skatina mokslininkus vertinti tokius teiginius niuansuotai. Užuot paskubomis ekstrapoliuojant ir darant kraštutines išvadas, tyrimas pabrėžia kruopštaus tyrimo ir išsamios analizės svarbą.
Skaitykite daugiau apie AI:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
