Guanaco se ukazuje jako potenciální otevřený zdroj ChatGPT Konkurent
Stručně
Guanaco, chatbot s otevřeným zdrojovým kódem vyvinutý výzkumníky z Washingtonské univerzity, chce konkurovat ChatGPT a zároveň vyžaduje méně času a peněz na školení.
Nová studie však zpochybnila účinnost modelů, jako je Alpaca.
Odhalili to vědci z Washingtonské univerzity guanako, open-source chatbot, jehož cílem je konkurovat výkonu ChatGPT a zároveň výrazně zkracuje čas a zdroje potřebné pro školení. Pojmenován po jihoamerickém příbuzném llamas, Guanaco je postaveno na LLaMA jazykový model a zahrnuje novou metodu jemného ladění zvanou QLoRA.
Tvůrci Guanaco tvrdí, že dosahuje srovnatelného výkonu jako ChatGPT ale dá se trénovat za jediný den. Tento pozoruhodný výkon umožňuje QLoRA, technika jemného ladění jazykového modelu, která podstatně snižuje množství paměti GPU potřebné pro trénink. Zatímco ChatGPT vyžaduje neuvěřitelných 780 GB GPU paměti pro model s 65 miliardami parametrů vyžaduje nejjednodušší verze Guanaca pouze 5 GB.
S těmito působivými nárůsty efektivity Guanaco a podobné modely s otevřeným zdrojovým kódem zpochybňují představu, že je pro ně nezbytný nákladný výcvik nejmodernější jazykové modely. Vznik Guanaka, Alpaca, a jiné modely tento vlak za zlomek ceny vedl ke spekulacím o budoucnosti drahých modelů, jako je GPT.
Ne všichni však s tímto optimistickým pohledem na open-source modely souhlasí. Nedávná studie provedená Kalifornskou univerzitou zpochybnil o schopnostech modelů, jako jsou alpaky, a vyvolalo otázky o jejich skutečném potenciálu. Zpočátku vědci dospěli k podobnému závěru jako tvůrci Guanaca: když jsou správně vyškolené, mohou open-source modely soupeřit GPT ve schopnostech. Další testy odhalily významné omezení. Tyto modely „Dolly“, jak se jim někdy říká, jsou zběhlé v napodobování řešení problémů, se kterými se setkali během tréninku. Mají však problémy s tím, aby dobře fungovaly v úkolech, kterým nebyly výslovně vystaveny, a zaostávají za pokročilejšími modely.
Toto odhalení naznačuje, že miliony investované do školení GPT a podobné modely možná nebyly marné. Zatímco Guanaco a jeho protějšky vykazují slibné výsledky, stále existují oblasti, kde vynikají sofistikovanější modely. Stojí za zmínku, že výzkum prováděný Kalifornskou univerzitou zpochybňuje převládající představu, že modely s otevřeným zdrojovým kódem mohou plně nahradit drahé modely, jako jsou GPT.
Jak se bude oblast zpracování přirozeného jazyka vyvíjet, bude zajímavé sledovat, jak se Guanaco a další open-source modely chovají proti zavedeným benchmarky jako např ChatGPT. Vysoká míra inovací a nepřetržitý výzkum bezesporu ovlivní budoucnost jazykových modelů a určí, které modely se stanou volbou pro konkrétní aplikace.
- Dolly 2.0, první komerčně dostupný open-source 12B Chat-LLM, bylo oznámeno od Databricks. To je významný pokrok pro průmysl strojového učení, který umožňuje podnikům vytvářet efektivní jazykové modely bez investic do nákladných GPU clusterů. Databricks zaměstnával 5,000 12 zaměstnanců, aby vytvořili svůj jazykový model s otevřeným zdrojovým kódem, který zahrnoval jazykový model Pythia-2.0B od EleutherAI pod licencí MIT. Dolly 2.0, stejně jako související kód, je k dispozici pod licencí MIT. Dolly XNUMX má potenciál změnit průmysl a je významným krokem vpřed pro strojové učení.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
