Iniharap ng mga Mananaliksik ng Carnegie Mellon ang MLC LLM para sa Mga Running Language Models sa Anumang Device
Sa madaling sabi
Ang MLC LLM at Web LLM ay nagbibigay-daan sa mga user na mag-deploy mga modelo ng wika sa anumang device, na nagbibigay-daan para sa mga bagong application at paggamit para sa natural na pag-unawa sa wika.
Iniharap ng mga mananaliksik ng Carnegie Mellon University MLC LLM, isang hanay ng mga tool na maaaring baguhin nang lubusan kung paano pinapatakbo ang mga modelo ng wika sa anumang device. Ang ganitong mga modelo ay nagbibigay-daan sa mga user na lumikha ng isang hanay ng mga natural na application ng wika, tulad ng mga virtual assistant at smart chatbots. Sa pamamagitan ng magkahiwalay na pag-optimize ng performance, magagamit na ngayon ang MLC LLM sa iba't ibang platform at senaryo.
| Magbasa nang higit pa: 10 Pinakamahusay na Unibersidad para Pag-aralan ang Artipisyal na Katalinuhan |
Ang bagong tool, na kilala bilang Web LLM, ay bahagi rin ng inisyatiba na ito. Nagbibigay-daan ito para sa paglulunsad ng mga modelo ng wika nang direkta sa browser, ibig sabihin, hindi kailangang manu-manong i-download ng mga user ang system, na maaaring ilang gigabytes ang laki. Ang modelong Vicuna 7B, na mayroong 7 bilyong mga parameter, ay ginawa sa ganitong paraan. Maaari itong maging lubhang kapaki-pakinabang kapag nagdidisenyo ng mas angkop na mga virtual assistant at chatbot dahil nangangailangan sila ng maraming parameter.
Gamit ang MLC LLM at Web LLM, posible na ngayong mag-deploy ng anuman modelo ng wika ng pagpipilian sa anumang aparato. Ang mga mananaliksik sa Carnegie Mellon ay nag-ulat na ito ay magbubukas ng isang hanay ng mga aplikasyon na hindi posible noon. Anuman modelo ng wika maaari na ngayong i-deploy sa iba't ibang mga computing device, tulad ng mga laptop at telepono, o kahit na mga processor at video accelerators. Nagbubukas ito ng mundo ng mga posibilidad para sa natural na pagproseso ng wika at machine learning.
Ang bagong inisyatiba mula sa Carnegie Mellon ay nagbibigay daan para sa isang hanay ng mga bagong aplikasyon at paggamit para sa natural na pag-unawa sa wika. Dahil magagamit mo ang mga modelo ng wikang ito sa anumang device, mas madaling i-deploy ang naturang teknolohiya sa maraming iba't ibang mga sitwasyon. Para man ito sa mga virtual assistant o automated na serbisyo sa customer, maaaring magkaroon ng matinding epekto ang bagong tool na ito sa paraan ng paggawa ng mga gawaing ito.
Binuo ng research team ni Carnegie Mellon ang MLC LLM upang patakbuhin sa anumang device, kabilang ang mga iPhone at iba pang smart home device, na may modernong processor at 6GB o higit pa sa RAM. Ang naka-streamline na diskarte na ito ay nangangahulugan na ang mga device ay maaari na ngayong magpatakbo ng mga modelo ng wika na may halos real-time na bilis ng pagbuo, kahit na na-optimize ng mga external na developer at hindi ng mga inhinyero ng Apple.
Bilang karagdagan sa pagpapahintulot para sa mga natural na pakikipag-ugnayan sa mga produkto, maaari ding gamitin ang MLC LLM upang i-optimize ang mga gawain sa pamamahala ng device. Sa 4GB hanggang 6GB lamang ng RAM na kailangan upang tumakbo, ang rebolusyonaryong modelo ng wika na ito ay gagawa ng isang mahusay na karagdagan sa mga hinaharap na modelo ng iPhone at maaaring potensyal na ilunsad sa produksyon nang walang mahabang panahon. proseso ng pag-unlad.
Sa pamamagitan ng pagpapakilala sa MLC LLM modelo ng wika, ang mga mananaliksik ng Carnegie Mellon ay lumikha ng isang mahusay at matatag na paraan upang magpatakbo ng mga modelo ng wika sa anumang device. Ang sistema ng MLC LLM ay isang tagumpay sa natural na pagpoproseso ng wika at ay magbibigay-daan sa mga user upang natural na makipag-ugnayan sa kanilang mga device nang mas epektibo. Mayroon din itong potensyal na makabuluhang mapabilis ang proseso ng pag-develop para sa mga gawain sa pamamahala ng device sa hinaharap. Ang mga posibilidad ay walang katapusan sa MLC LLM, at ang trabaho ni Carnegie Mellon ay tiyak baguhin ang paraan ng pag-iisip natin tungkol sa mga modelo ng wika Para sa ikabubuti.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
