Guanaco sa ukazuje ako potenciálny otvorený zdroj ChatGPT Konkurent
Stručne
Guanaco, chatbot s otvoreným zdrojovým kódom vyvinutý výskumníkmi z Washingtonskej univerzity, chce konkurovať ChatGPT vyžaduje menej času a peňazí na školenie.
Nová štúdia však spochybnila účinnosť modelov, ako je Alpaca.
Vedci z Washingtonskej univerzity odhalili guanako, open-source chatbot, ktorého cieľom je konkurovať výkonu ChatGPT pričom sa výrazne znižuje čas a zdroje potrebné na školenie. Pomenovaný po juhoamerickom príbuznom llamas, Guanaco je postavené na LLaMA jazykový model a zahŕňa novú metódu jemného ladenia nazývanú QLoRA.
Tvorcovia Guanaco tvrdia, že dosahuje porovnateľný výkon ako ChatGPT ale dá sa trénovať za jediný deň. Tento pozoruhodný výkon umožňuje QLoRA, technika jemného ladenia jazykového modelu, ktorá podstatne znižuje množstvo pamäte GPU potrebnej na tréning. Zatiaľ čo ChatGPT vyžaduje neuveriteľných 780 GB GPU pamäte pre model so 65 miliardami parametrov vyžaduje najjednoduchšia verzia Guanaco iba 5 GB.
S týmto pôsobivým zvýšením efektívnosti Guanaco a podobné modely s otvoreným zdrojom spochybňujú predstavu, že je potrebné drahé školenie najmodernejšie jazykové modely. Vznik Guanaka, alpakaa iné modely tento vlak za zlomok nákladov viedol k špekuláciám o budúcnosti nákladných modelov, ako je GPT.
Nie každý však súhlasí s týmto optimistickým pohľadom na open-source modely. Nedávna štúdia vykonaná Kalifornskou univerzitou spochybnil o schopnostiach modelov ako alpaky a vyvolali otázky o ich skutočnom potenciáli. Spočiatku výskumníci dospeli k podobnému záveru ako tvorcovia Guanaco: keď sú správne vyškolené, open-source modely môžu súperiť GPT v schopnostiach. Ďalšie testy odhalili významné obmedzenie. Tieto modely „Dolly“, ako sa im niekedy hovorí, sú zbehlí v napodobňovaní riešení problémov, s ktorými sa stretli počas tréningu. Majú však problémy s dobrým výkonom pri úlohách, ktorým neboli výslovne vystavené, a zaostávajú za pokročilejšími modelmi.
Toto odhalenie naznačuje, že milióny investované do vzdelávania GPT a podobné modely možno nevyšli nazmar. Zatiaľ čo Guanaco a jeho náprotivky vykazujú sľubné výsledky, stále existujú oblasti, v ktorých vynikajú sofistikovanejšie modely. Stojí za zmienku, že výskum uskutočnený Kalifornskou univerzitou spochybňuje prevládajúcu predstavu, že modely s otvoreným zdrojom môžu plne nahradiť drahé modely, ako napr GPT.
Ako sa oblasť spracovania prirodzeného jazyka vyvíja, bude zaujímavé sledovať, ako si Guanaco a iné open-source modely vychádzajú so zavedenými benchmarky ako napr ChatGPT. Vysoká miera inovácií a neustály výskum nepochybne ovplyvnia budúcnosť jazykových modelov a určia, ktoré modely sa stanú preferovanou voľbou pre konkrétne aplikácie.
- Dolly 2.0, prvý komerčne dostupný open-source 12B Chat-LLM, bolo oznámené spoločnosťou Databricks. Ide o významný pokrok v odvetví strojového učenia, ktorý umožňuje podnikom vytvárať efektívne jazykové modely bez investícií do nákladných GPU klastrov. Databricks angažoval 5,000 12 zamestnancov, aby vytvorili svoj jazykový model s otvoreným zdrojovým kódom, ktorý zahŕňal jazykový model Pythia-2.0B od EleutherAI pod licenciou MIT. Dolly 2.0, ako aj súvisiaci kód, sú dostupné pod licenciou MIT. Dolly XNUMX má potenciál zmeniť odvetvie a je významným krokom vpred pre strojové učenie.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
