AI demencija: modeliu sukurto turinio iššūkiai ir jo poveikis AI sistemoms
Trumpai
Tyrėjai atskleidė modelio demencijos reiškinį, kuris reiškia negrįžtamus modelių defektus, kai išnyksta pradinio turinio platinimo uodegos.
Norint išsaugoti internetinių duomenų mokymo modelių naudą, reikia rasti sprendimus, kurie sumažintų galimą originalaus turinio platinimo praradimą.
Sparti AI technologijos pažanga atnešė neįtikėtinų laimėjimų natūralios kalbos apdorojimo ir vaizdo generavimo srityse. Didelės kalbos modeliai (LLM), kaip GPT-2, GPT-3 (.5), ir GPT-4 pademonstravo puikų našumą atliekant įvairias kalbos užduotis, o modeliai, tokie kaip ChatGPT plačiajai visuomenei pristatė šias kalbos galimybes. Tačiau LLM vis labiau populiarėjant ir labai prisidedant prie internete randamos kalbos, mokslininkai atskleidė susirūpinimą keliančią problemą, žinomą kaip „modelio demencija"
| Rekomenduojama: OpenAI: AI gali padaryti daug žalos žmonėms, tačiau bandymas sustabdyti pažangą nėra išeitis |
Neseniai paskelbtame straipsnyje mokslininkai nušvietė modelių demencijos reiškinį, kuris reiškia negrįžtamus modelių defektus, kai išnyksta pradinio turinio platinimo uodegos. Tyrimas rodo, kad naudojant modelio sukurtą turinį treniruočių metu tai gali lemti gautų modelių pažinimo nuosmukis. Šis poveikis buvo pastebėtas variaciniuose autokoderiuose (VAE), Gauso mišinio modeliuose (GMM) ir LLM. Išvadose pabrėžiama, kad reikia spręsti šią problemą, kad būtų išsaugota nauda mokymo modeliai didelio masto duomenis, gautus iš interneto.
Tyrėjai pateikia teorinį supratimą apie modelio demenciją ir parodo jos paplitimą įvairiose srityse generatyviniai modeliai. Jie teigia, kad į šį reiškinį reikia žiūrėti rimtai, kad būtų užtikrintas nuolatinis mokymo modelių veiksmingumas žiniatinklio duomenys. Kadangi LLM vis labiau prisideda prie kalbos ir turinio internete, duomenų vertės surinkti iš tikrų žmonių bendravimo su sistemomis tampa dar kritiškesnė.
Įvadas stable diffusion, technika, kuri sukėlė revoliuciją įvaizdžio kūrime aprašomasis tekstas, dar labiau parodo LLM poveikį kuriant turinį. Tačiau tyrimas rodo, kad naudojant modelio sukurtą turinį gali būti prarastas galutinis turinio platinimas, o tai gali sumažinti pirminių duomenų įvairovę ir turtingumą.
Nors didelio masto duomenys, išgauti iš žiniatinklio, suteikia vertingų įžvalgų apie žmonių sąveiką su sistemomis, buvimą LLM sukurtas turinys kelia naujų iššūkių. Tyrėjai pabrėžia, kad reikia spręsti modelio demenciją ir rasti sprendimus, kurie išsaugotų mokymo modelių, naudojamų interneto duomenims, privalumus ir sumažintų galimą pradinio turinio platinimo praradimą.
AI sričiai toliau tobulėjant, labai svarbu, kad tyrėjai, kūrėjai ir politikos formuotojai žinotų apribojimus ir iššūkius, susijusius su modelių sukurto turinio mokymo modeliais. Suprasdami ir spręsdami tokias problemas kaip modelio demencija, galime užtikrinti atsakingą ir veiksmingą AI technologijos naudojimą ateityje.
Skaitykite daugiau apie AI:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
