Lumalabas ang Guanaco bilang Potensyal na Open-Source ChatGPT Kalaban sa bigkasan
Sa madaling sabi
Ang Guanaco, isang open-source na chatbot na binuo ng mga mananaliksik ng University of Washington, ay naghahangad na makipagkumpitensya ChatGPT habang nangangailangan ng mas kaunting oras at pera para sa pagsasanay.
Ang isang bagong pag-aaral, gayunpaman, ay nagtanong sa bisa ng mga modelo tulad ng Alpaca.
Inihayag ng mga mananaliksik mula sa Unibersidad ng Washington guanaco, isang open-source na chatbot na naglalayong karibal ang pagganap ng ChatGPT habang makabuluhang binabawasan ang oras at mga mapagkukunang kinakailangan para sa pagsasanay. Pinangalanan sa isang South American na kamag-anak ng llamas, ang Guanaco ay itinayo sa LLaMA modelo ng wika at isinasama ang isang nobelang pamamaraan ng fine-tuning na tinatawag na QLoRA.
Sinasabi ng mga tagalikha ng Guanaco na nakakamit nito ang maihahambing na pagganap sa ChatGPT ngunit maaaring sanayin sa loob lamang ng isang araw. Ang kahanga-hangang gawaing ito ay ginawang posible ng QLoRA, isang pamamaraan ng pag-fine-tuning ng modelo ng wika na makabuluhang binabawasan ang dami ng memorya ng GPU na kailangan para sa pagsasanay. Habang ChatGPT nangangailangan ng napakaraming 780 GB ng GPU memory para sa isang modelo na may 65 bilyong mga parameter, ang pinakasimpleng bersyon ng Guanaco ay nangangailangan lamang ng 5 GB.
Sa mga kahanga-hangang tagumpay na ito sa kahusayan, hinahamon ng Guanaco at mga katulad na open-source na modelo ang paniwala na ang mamahaling pagsasanay ay kinakailangan para sa makabagong mga modelo ng wika. Ang paglitaw ng Guanaco, Alpaca, at iba pang mga modelo na ang tren sa isang maliit na bahagi ng gastos ay humantong sa haka-haka tungkol sa hinaharap ng mga mamahaling modelo tulad ng GPT.
Gayunpaman, hindi lahat ay sumasang-ayon sa optimistikong pananaw na ito ng mga open-source na modelo. Isang kamakailang pag-aaral na isinagawa ng Unibersidad ng California ay nagdulot ng pagdududa sa mga kakayahan ng mga modelo tulad ng alpacas at nagtaas ng mga tanong tungkol sa kanilang tunay na potensyal. Sa una, ang mga mananaliksik ay umabot sa isang katulad na konklusyon sa mga tagalikha ng Guanaco: kapag maayos na sinanay, ang mga open-source na modelo ay maaaring magkaribal GPT sa mga kakayahan. Ang mga karagdagang pagsusuri ay nagsiwalat ng isang makabuluhang limitasyon. Ang mga modelong "Dolly" na ito, na kung minsan ay tawag sa kanila, ay sanay sa paggaya ng mga solusyon sa mga problemang naranasan nila sa panahon ng pagsasanay. Gayunpaman, nahihirapan silang gumanap nang maayos sa mga gawaing hindi pa nila tahasang nalantad, na nahuhuli sa mas advanced na mga modelo.
Ang paghahayag na ito ay nagmumungkahi na ang milyon-milyong namuhunan sa pagsasanay GPT at ang mga katulad na modelo ay maaaring hindi naging walang kabuluhan. Habang ang Guanaco at ang mga katapat nito ay nagpapakita ng mga magagandang resulta, mayroon pa ring mga lugar kung saan ang mga mas sopistikadong modelo ay nangunguna. Ito ay nagkakahalaga ng noting na ang pananaliksik na isinagawa ng Unibersidad ng California hinahamon ang umiiral na paniwala na ang mga open-source na modelo ay maaaring ganap na palitan ang mga mamahaling modelo tulad ng GPT.
Habang umuunlad ang larangan ng natural na pagpoproseso ng wika, magiging kawili-wiling panoorin kung paano patas ang Guanaco at iba pang mga open-source na modelo laban sa naitatag na mga benchmark tulad ng ChatGPT. Ang mataas na rate ng pagbabago at tuluy-tuloy na pananaliksik, nang walang tanong, ay makakaapekto sa kinabukasan ng mga modelo ng wika at matukoy kung aling mga modelo ang magiging pagpipilian para sa mga partikular na aplikasyon.
- Dolly 2.0, ang unang available na komersyal na open-source na 12B Chat-LLM, ay inihayag ng Databricks. Ito ay isang makabuluhang pagsulong para sa industriya ng machine learning, na nagbibigay-daan sa mga negosyo na lumikha ng mga epektibong modelo ng wika nang hindi namumuhunan sa mga mamahaling GPU cluster. Nakipag-ugnayan ang Databricks sa 5,000 empleyado upang lumikha ng kanilang open-source na modelo ng wika, na kasama ang modelo ng wikang Pythia-12B ng EleutherAI sa ilalim ng lisensya ng MIT. Ang Dolly 2.0, pati na rin ang nauugnay na code, ay magagamit sa ilalim ng lisensya ng MIT. Ang Dolly 2.0 ay may potensyal na baguhin ang industriya at ito ay isang makabuluhang hakbang pasulong para sa machine learning.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
