Guanako pojawia się jako potencjalne oprogramowanie typu open source ChatGPT Konkurent
W skrócie
Guanaco, chatbot typu open source opracowany przez naukowców z University of Washington, aspiruje do konkurowania ChatGPT jednocześnie wymagając mniej czasu i pieniędzy na szkolenia.
Jednak nowe badanie zakwestionowało skuteczność modeli takich jak Alpaca.
Ujawnili to naukowcy z University of Washington Guanako, chatbot typu open source, którego celem jest rywalizacja z wydajnością ChatGPT jednocześnie znacznie redukując czas i zasoby potrzebne do szkolenia. Nazwany na cześć południowoamerykańskiego krewnego llamas, Guanako jest zbudowane na LLaMA model języka i wykorzystuje nowatorską metodę dostrajania zwaną QLoRA.
Twórcy Guanaco twierdzą, że osiąga on wydajność porównywalną do ChatGPT ale można go wyszkolić w ciągu jednego dnia. To niezwykłe osiągnięcie jest możliwe dzięki QLoRA, technice precyzyjnego dostrajania modelu językowego, która znacznie zmniejsza ilość pamięci GPU potrzebnej do szkolenia. Chwila ChatGPT wymaga aż 780 GB pamięci GPU dla modelu z 65 miliardami parametrów najprostsza wersja Guanaco wymaga tylko 5 GB.
Dzięki tym imponującym wzrostom wydajności Guanaco i podobne modele open source rzucają wyzwanie poglądowi, do którego konieczne jest kosztowne szkolenie najnowocześniejsze modele językowe. Pojawienie się guanako, Alpaka, inne modele pociągu za ułamek ceny doprowadziło do spekulacji na temat przyszłości kosztownych modeli, takich jak GPT.
Jednak nie wszyscy zgadzają się z tym optymistycznym spojrzeniem na modele open source. Ostatnie badanie przeprowadzone przez University of California podał w wątpliwość na temat możliwości modeli takich jak alpaki i zrodził pytania o ich prawdziwy potencjał. Początkowo badacze doszli do podobnego wniosku, co twórcy Guanaco: przy odpowiednim przeszkoleniu modele open source mogą konkurować GPT w możliwościach. Dalsze testy wykazały istotne ograniczenie. Te modele „Dolly”, jak się je czasem nazywa, doskonale potrafią naśladować rozwiązania problemów, które napotkały podczas treningu. Jednak mają trudności z dobrym wykonaniem zadań, z którymi nie byli bezpośrednio narażeni, pozostając w tyle za bardziej zaawansowanymi modelami.
Objawienie to sugeruje, że miliony zainwestowane w szkolenia GPT a podobne modele mogły nie pójść na marne. Podczas gdy Guanaco i jego odpowiedniki wykazują obiecujące wyniki, wciąż istnieją obszary, w których przodują bardziej wyrafinowane modele. Warto zauważyć, że badania przeprowadzone przez Uniwersytet Kalifornijski podważa panujący pogląd, że modele open source mogą w pełni zastąpić drogie modele, takie jak GPT.
W miarę rozwoju dziedziny przetwarzania języka naturalnego interesujące będzie obserwowanie, jak Guanaco i inne modele open-source wypadają w porównaniu z uznanymi benchmarki np ChatGPT. Wysoki wskaźnik innowacji i ciągłe badania bez wątpienia wpłyną na przyszłość modeli językowych i określą, które modele staną się najlepszym wyborem dla określonych aplikacji.
- Dolly 2.0, pierwszy dostępny na rynku open-source Chat-LLM 12B, został ogłoszony przez Databricks. Jest to znaczący postęp w branży uczenia maszynowego, umożliwiający firmom tworzenie efektywnych modeli językowych bez inwestowania w kosztowne klastry GPU. Firma Databricks zaangażowała 5,000 pracowników do stworzenia modelu języka typu open source, który obejmował model języka Pythia-12B firmy EleutherAI na licencji MIT. Dolly 2.0, jak również związany z nim kod, jest dostępny na licencji MIT. Dolly 2.0 ma potencjał, by zmienić branżę i jest znaczącym krokiem naprzód w dziedzinie uczenia maszynowego.
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
