Guanaco nousee mahdolliseksi avoimen lähdekoodin lähdekoodiksi ChatGPT Kilpailija
Lyhyesti
Guanaco, Washingtonin yliopiston tutkijoiden kehittämä avoimen lähdekoodin chatbot, pyrkii kilpailemaan kanssa ChatGPT mutta vaatii vähemmän aikaa ja rahaa koulutukseen.
Uusi tutkimus on kuitenkin kyseenalaistanut Alpacan kaltaisten mallien tehokkuuden.
Washingtonin yliopiston tutkijat ovat paljastaneet guanaco, avoimen lähdekoodin chatbot, jonka tavoitteena on kilpailla suorituskyvyn kanssa ChatGPT vähentäen samalla merkittävästi koulutukseen tarvittavaa aikaa ja resursseja. Nimetty eteläamerikkalaisen sukulaisen mukaan llamas, Guanaco on rakennettu LLaMA kielimalli ja sisältää uuden hienosäätömenetelmän nimeltä QLoRA.
Guanacon luojat väittävät, että se saavuttaa vertailukelpoisen suorituskyvyn ChatGPT mutta se voidaan harjoitella vain yhdessä päivässä. Tämän merkittävän saavutuksen tekee mahdolliseksi QLoRA, kielimallin hienosäätötekniikka, joka vähentää huomattavasti harjoitteluun tarvittavan GPU-muistin määrää. Sillä aikaa ChatGPT vaatii huikeat 780 Gt GPU-muistia mallille, jossa on 65 miljardia parametria, Guanacon yksinkertaisin versio vaatii vain 5 Gt.
Näillä vaikuttavilla tehokkuusetuilla Guanaco ja vastaavat avoimen lähdekoodin mallit haastavat käsityksen, että kallista koulutusta tarvitaan huippuluokan kielimallit. Guanacon ilmaantuminen, alpakkaja muut mallit että juna murto-osalla kustannuksista on johtanut spekulaatioihin kalliiden mallien, kuten kaltaisten, tulevaisuudesta GPT.
Kaikki eivät kuitenkaan ole samaa mieltä tämän optimistisen näkemyksen kanssa avoimen lähdekoodin malleista. Kalifornian yliopiston tuore tutkimus on herättänyt epäilyksiä alpakoiden kaltaisten mallien ominaisuuksista ja herätti kysymyksiä niiden todellisesta potentiaalista. Aluksi tutkijat päätyivät samanlaiseen johtopäätökseen kuin Guanacon luojat: asianmukaisesti koulutettuina avoimen lähdekoodin mallit voivat kilpailla. GPT kyvyissä. Lisätestit paljastivat merkittävän rajoituksen. Nämä "Dolly"-mallit, kuten niitä joskus kutsutaan, ovat taitavia jäljittelemään ratkaisuja ongelmiin, joita he ovat kohdanneet harjoittelun aikana. Heillä on kuitenkin vaikeuksia suoriutua hyvin tehtävistä, joille he eivät ole nimenomaisesti altistuneet, ja he ovat jäljessä edistyneemmistä malleista.
Tämä paljastus viittaa siihen, että koulutukseen on investoitu miljoonia GPT ja samanlaiset mallit eivät ehkä olleet turhia. Vaikka Guanaco ja sen vastineet osoittavat lupaavia tuloksia, on edelleen alueita, joilla kehittyneemmät mallit loistavat. On syytä huomata, että Kalifornian yliopiston tekemä tutkimus haastaa vallitsevan käsityksen, että avoimen lähdekoodin mallit voivat korvata täysin kalliita malleja, kuten GPT.
Luonnollisen kielen käsittelyn alan kehittyessä on mielenkiintoista seurata kuinka Guanaco ja muut avoimen lähdekoodin mallit kohtaavat vakiintuneita vertailuarvot, kuten ChatGPT. Korkea innovaatioaste ja jatkuva tutkimus vaikuttavat epäilemättä kielimallien tulevaisuuteen ja määrittävät, mitkä mallit ovat suosiollisia tietyissä sovelluksissa.
- Dolly 2.0, ensimmäinen kaupallisesti saatavilla oleva avoimen lähdekoodin 12B Chat-LLM, on ilmoitettu by Databricks. Tämä on merkittävä edistysaskel koneoppimisteollisuudelle, ja se antaa yrityksille mahdollisuuden luoda tehokkaita kielimalleja investoimatta kalliisiin GPU-klustereihin. Databricks palkkasi 5,000 12 työntekijää avoimen lähdekoodin kielimallin luomiseen, joka sisälsi EleutherAI:n Pythia-2.0B-kielimallin MIT-lisenssillä. Dolly 2.0 ja siihen liittyvä koodi ovat saatavilla MIT-lisenssillä. Dolly XNUMX:lla on potentiaalia muuttaa alaa ja se on merkittävä askel eteenpäin koneoppimisessa.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
