AI dementsus: mudelite loodud sisu väljakutsed ja selle mõju AI-süsteemidele
Põgusalt
Teadlased on avastanud mudeldementsuse fenomeni, mis viitab pöördumatutele defektidele, mis ilmnevad mudelites, kui algse sisujaotuse sabad kaovad.
Internetiandmete koolitusmudelite eeliste säilitamiseks tuleb leida lahendused, mis leevendaksid esialgse sisu levitamise võimalikku kadumist.
Tehisintellekti tehnoloogia kiire areng on toonud kaasa uskumatuid saavutusi loomuliku keele töötlemisel ja kujutiste genereerimisel. Suured keelemudelid (LLM-id) nagu GPT-2, GPT-3 (.5) ja GPT-4 on näidanud märkimisväärset jõudlust erinevates keeleülesannetes, samas kui sellised mudelid nagu ChatGPT on neid keeleoskusi laiemale avalikkusele tutvustanud. Kuna aga LLM-id muutuvad üha levinumaks ja aitavad oluliselt kaasa veebis leiduvale keelele, on teadlased avastanud murettekitava probleemi, mida nimetatakse "mudeldementsus. "
Hiljutises artiklis heitsid teadlased valgust mudelidementsuse fenomenile, mis viitab pöördumatutele defektidele, mis mudelitel tekivad siis, kui algse sisujaotuse sabad kaovad. Uuring näitab, et mudeliga loodud sisu kasutamine koolituse ajal võib selleni viia saadud mudelite kognitiivne langus. Seda efekti on täheldatud variatsiooniautokodeerijate (VAE), Gaussi segu mudelite (GMM) ja LLM-ide puhul. Tulemused rõhutavad vajadust selle probleemiga tegeleda, et säilitada selle eelised koolitusmudelid Internetist saadud suuremahuliste andmete põhjal.
Teadlased annavad teoreetilise arusaama mudeldementsuse kohta ja näitavad selle levimust erinevates generatiivsed mudelid. Nad väidavad, et seda nähtust tuleb tõsiselt võtta, et tagada ulatuslike koolitusmudelite jätkuv tõhusus veebiandmed. Kuna LLM-id panustavad üha enam veebis saadaolevasse keelde ja sisusse, on andmete väärtus kogutud tõelisest inimestevahelisest suhtlusest süsteemidega muutub veelgi kriitilisemaks.
Sissejuhatus stable diffusion, tehnika, mis muutis piltide loomisel pöörde kirjeldav tekst, illustreerib veelgi LLM-ide mõju sisu loomisel. Uuring viitab siiski sellele, et mudeliga loodud sisu kasutamine võib põhjustada sisu levitamise lõppu, mis võib kahjustada algandmete mitmekesisust ja rikkust.
Kuigi veebist kogutud suuremahulised andmed pakuvad väärtuslikku teavet inimeste ja süsteemidega suhtlemise kohta, on nende olemasolu LLM-ide loodud sisu esitab uusi väljakutseid. Teadlased rõhutavad vajadust käsitleda mudeldementsust ja leida lahendusi, mis säilitavad Interneti-andmete koolitusmudelite eelised, vähendades samal ajal esialgse sisu levitamise võimalikku kadumist.
Kuna tehisintellekti valdkond areneb jätkuvalt, on väga oluline, et teadlased, arendajad ja poliitikakujundajad oleksid teadlikud mudelite loodud sisu koolitusmudelitega seotud piirangutest ja väljakutsetest. Mõistes ja käsitledes selliseid probleeme nagu mudeldementsus, saame tagada tehisintellekti tehnoloogia vastutustundliku ja tõhusa kasutamise tulevikus.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
