Pinilit ng Microsoft ang mga LLM na Kalimutan ang Tungkol kay Harry Potter
Ang Microsoft ay nagpahayag ng isang pamamaraan para sa pag-uutos sa Large Language Models (LLMs) na kalimutan ang partikular na impormasyon sa loob ng kanilang mga dataset nang hindi nangangailangan ng buong reconstruction ng data ng pagsasanay. Ang pamamaraang ito ay nagbubukas ng mga bagong posibilidad para sa pagpapabuti ng mga LLM at potensyal na paglutas ng mga legal na isyu na kinasasangkutan ng naka-copyright na nilalaman.
Ipinakita kamakailan ng koponan ng Microsoft kung paano nila nagawa ang Llama-2 modelo ay nakakalimutan ang mga detalye ng mga aklat ng Harry Potter nang hindi naaapektuhan ang iba pang data sa data ng pagsasanay ng modelo o ang pangkalahatang pagganap ng modelo sa isang pag-aaral na inilarawan sa kanilang pahina ng proyekto sa pananaliksik.
Nagsisimula ang proseso sa pagtukoy ng partikular na impormasyon sa loob ng dataset ng modelo na kailangang makalimutan. Sa kasong ito, ito ay mga detalyeng nauugnay sa iconic na serye ni JK Rowling, kabilang ang mga detalye ng plot, pangalan ng karakter, at sikat na quote. Ang mga ito ay sistematikong pinalitan ng mga generic, hindi nauugnay na mga parirala.
Ang mga mananaliksik pagkatapos ay gumamit ng isang modelo ng wika upang makabuo ng bagong impormasyon batay sa generic na data na ito. Ang bagong data na ito ay ginamit noon upang muling sanayin ang orihinal Llama-2 modelo paunti-unti. Sa bawat hakbang, dumistansya ang modelo sa mga aklat ng Harry Potter hanggang sa magsimula itong gumawa ng mga hallucinator na tugon kapag tinanong tungkol sa kanila.
Ang isang kapansin-pansing tampok ng diskarteng ito ay hindi nito nakompromiso ang pangkalahatang pagganap ng modelo. Nangangahulugan ito na habang lalong nagiging makakalimutin ang LLM tungkol sa partikular na data, nananatiling buo ang pangkalahatang kakayahan nito sa wika.
Sa kabila ng katotohanan na ang diskarte na ito ay pinipino pa rin, ang mga implikasyon nito ay malawak. Sa mga sitwasyong kinasasangkutan ng mga legal na claim at isyu sa copyright, sa partikular, maaari itong magbigay ng lifeline sa mga gumagawa ng LLM at iba pang mga modelo ng AI.
Ang pagbabagong ito ay dumarating sa panahon kung kailan dumarami ang mga legal na hindi pagkakaunawaan sa paggamit ng naka-copyright na content sa mga modelo ng AI. Halimbawa, Hiniling ng New York Times kamakailan ang pagtanggal ng mga publikasyon nito mula sa GPT-4 dataset. Sa kaganapan ng isang matagumpay legal na hamon, karaniwang kailangan ng mga developer na buuin muli ang kanilang mga dataset ng modelo, isang prosesong umuubos ng oras at masinsinang mapagkukunan. Ang pamamaraan ng Microsoft, kung higit na pino at pinagtibay, ay maaaring magbigay ng mahusay na solusyon sa mga naturang hamon.
Paraan ng Microsoft upang piliing kalimutan ang partikular na impormasyon sa loob ng Malaking Modelo ng Wika (Mga LLM) ay isang makabuluhang tagumpay sa pagbuo ng AI, na posibleng tumutugon sa mga isyu sa naka-copyright na nilalaman at pag-streamline ng pagpipino. Maaaring ilapat ang diskarteng ito sa iba't ibang domain, na nagpapakita ng responsableng pagbuo at aplikasyon ng AI.
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
