Microsoft sundis LLM-id Harry Potteri unustama
Microsoft on avaldanud meetodi suurte keelemudelite (LLM) juhendamise eest, et nad unustaksid oma andmekogumites konkreetset teavet, ilma et oleks vaja koolitusandmete täielikku rekonstrueerimist. See meetod avab uusi võimalusi LLM-ide täiustamiseks ja potentsiaalselt autoriõigustega kaitstud sisuga seotud juriidiliste probleemide lahendamiseks.
Microsofti meeskond näitas hiljuti, kuidas nad suutsid seda teha Llama-2 mudel unustab Harry Potteri raamatute üksikasjad, ilma et see mõjutaks mudeli koolitusandmete muid andmeid või mudeli üldist jõudlust nende uurimisprojekti lehel kirjeldatud uuringus.
Protsess algab konkreetse teabe tuvastamisega mudeli andmekogumis, mis tuleb unustada. Antud juhul olid need JK Rowlingu ikoonilise sarjaga seotud üksikasjad, sealhulgas süžee spetsiifika, tegelaste nimed ja kuulsad tsitaadid. Seejärel asendati need süstemaatiliselt üldiste, mitteseotud fraasidega.
Seejärel kasutasid teadlased nende üldiste andmete põhjal uue teabe loomiseks keelemudelit. Neid värskeid andmeid kasutati seejärel originaali ümberõpetamiseks Llama-2 mudel järk-järgult. Iga sammuga distantseeris modell end Harry Potteri raamatutest, kuni hakkas nende kohta küsitledes tekitama hallutsinatoorseid vastuseid.
Selle lähenemisviisi üks silmatorkav omadus on see, et see ei kahjusta mudeli üldist jõudlust. See tähendab, et kuigi LLM hakkab konkreetseid andmeid üha enam unustama, jäävad selle üldised keeleoskused puutumata.
Hoolimata asjaolust, et seda lähenemisviisi veel täiustatakse, on selle tagajärjed laiaulatuslikud. Olukordades, mis hõlmavad juriidilisi nõudeid ja autoriõigustega seotud probleeme, võib see olla päästerõngas neile, kes loovad LLM-e ja muid tehisintellekti mudeleid.
See uuendus tuleb ajal, mil õigusvaidlused autoriõigustega kaitstud sisu kasutamise üle tehisintellekti mudelites on tõusuteel. Näiteks, New York Times nõudis hiljuti eemaldamist oma väljaannetest GPT-4 andmestik. Edu korral vaidlustada, peaksid arendajad tavaliselt oma mudeliandmed rekonstrueerima, mis on aeganõudev ja ressursimahukas protsess. Kui Microsofti meetodit veelgi täiustada ja kasutusele võtta, võib see pakkuda sellistele väljakutsetele tõhusat lahendust.
Microsofti meetod konkreetse teabe valikuliseks unustamiseks suurtes keelemudelites (LLM-id) on märkimisväärne läbimurre tehisintellekti arendamisel, mis võib lahendada autoriõigustega kaitstud sisuga seotud probleeme ja tõhustada täiustamist. Seda lähenemisviisi saab rakendada erinevates valdkondades, näidates vastutustundlikku tehisintellekti arendamist ja rakendamist.
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
