Guanaco kerkib esile kui potentsiaalne avatud lähtekoodiga ChatGPT Võistleja
Põgusalt
Washingtoni ülikooli teadlaste välja töötatud avatud lähtekoodiga vestlusbot Guanaco püüab sellega konkureerida ChatGPT nõudes samal ajal koolituseks vähem aega ja raha.
Uus uuring on aga seadnud kahtluse alla selliste mudelite nagu Alpaca tõhususe.
Washingtoni ülikooli teadlased avalikustasid Guanako, avatud lähtekoodiga vestlusbot, mille eesmärk on konkureerida ChatGPT vähendades samal ajal oluliselt koolituseks kuluvat aega ja ressursse. Nimetatud Lõuna-Ameerika sugulase järgi llamas, Guanaco on ehitatud LLaMA keelemudel ja sisaldab uudset peenhäälestusmeetodit nimega QLoRA.
Guanaco loojad väidavad, et selle jõudlus on võrreldav ChatGPT kuid seda saab treenida vaid ühe päevaga. Selle tähelepanuväärse saavutuse teeb võimalikuks QLoRA, keelemudeli peenhäälestustehnika, mis vähendab oluliselt treenimiseks vajaliku GPU-mälu mahtu. Kuigi ChatGPT nõuab tohutult 780 GB GPU mälu 65 miljardi parameetriga mudeli jaoks vajab Guanaco kõige lihtsam versioon vaid 5 GB.
Nende muljetavaldava tõhususe kasvuga seavad Guanaco ja sarnased avatud lähtekoodiga mudelid kahtluse alla arusaama, et kulukas koolitus on vajalik tipptasemel keelemudelid. Guanaco tekkimine, Alpacaja muud mudelid et rong murdosa kuludest on viinud spekulatsioonideni selliste kulukate mudelite tuleviku üle nagu GPT.
Kuid mitte kõik ei nõustu selle optimistliku vaatega avatud lähtekoodiga mudelitele. California ülikooli hiljutine uuring on pannud kahtluse alla mudelite, nagu alpakade, võimekuse kohta ja tõstatas küsimusi nende tegeliku potentsiaali kohta. Esialgu jõudsid teadlased Guanaco loojatega sarnasele järeldusele: kui neid on korralikult koolitatud, võivad avatud lähtekoodiga mudelid konkureerida GPT võimetes. Täiendavad testid näitasid olulist piirangut. Need "Dolly" mudelid, nagu neid mõnikord nimetatakse, on oskuslikud jäljendama lahendusi probleemidele, mis neil treeningu ajal kokku puutusid. Siiski on neil raske täita ülesandeid, millega nad pole otseselt kokku puutunud, jäädes maha arenenumatest mudelitest.
See ilmutus viitab sellele, et koolitustesse investeeritud miljoneid GPT ja sarnased mudelid ei pruugi olla asjata. Kuigi Guanaco ja selle kolleegid näitavad paljutõotavaid tulemusi, on endiselt valdkondi, kus keerukamad mudelid paistavad silma. Väärib märkimist, et California ülikooli poolt läbi viidud uuringud seab kahtluse alla levinud arusaama, et avatud lähtekoodiga mudelid võivad täielikult asendada sellised kallid mudelid nagu GPT.
Loomuliku keele töötlemise valdkonna arenedes on huvitav jälgida, kuidas Guanaco ja teised avatud lähtekoodiga mudelid on väljakujunenud võrdlusalused nagu ChatGPT. Innovatsiooni kõrge tase ja pidevad uuringud mõjutavad kahtlemata keelemudelite tulevikku ja määravad kindlaks, millised mudelid muutuvad konkreetsete rakenduste jaoks parimaks.
- Dolly 2.0, esimene kaubanduslikult saadaolev avatud lähtekoodiga 12B Chat-LLM, on välja kuulutatud poolt Databricks. See on masinõppetööstuse jaoks märkimisväärne edasiminek, võimaldades ettevõtetel luua tõhusaid keelemudeleid ilma kulukatesse GPU-klastritesse investeerimata. Databricks kaasas 5,000 töötajat, et luua oma avatud lähtekoodiga keelemudel, mis hõlmas MIT-litsentsi alusel EleutherAI Pythia-12B keelemudelit. Dolly 2.0 ja sellega seotud kood on saadaval MIT-i litsentsi alusel. Dolly 2.0-l on potentsiaal muuta tööstust ja see on märkimisväärne samm edasi masinõppes.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
