Badacze Carnegie Mellon przedstawiają MLC LLM do uruchamiania modeli językowych na dowolnym urządzeniu
W skrócie
MLC LLM i Web LLM umożliwiają użytkownikom wdrażanie modele językowe na dowolnym urządzeniu, umożliwiając nowe zastosowania i zastosowania w zakresie rozumienia języka naturalnego.
Naukowcy z Carnegie Mellon University przedstawili MLC spółka z ograniczoną odpowiedzialnością, zestaw narzędzi, które mogą zrewolucjonizować sposób uruchamiania modeli językowych na dowolnym urządzeniu. Takie modele umożliwiają użytkownikom tworzenie szeregu aplikacji języka naturalnego, takich jak wirtualni asystenci i inteligentne chatboty. Dzięki oddzielnym optymalizacjom wydajności, MLC LLM może być teraz używany na różnych platformach i scenariuszach.
Nowe narzędzie, tzw Sieć LLM, jest również częścią tej inicjatywy. Pozwala na uruchamianie modeli językowych bezpośrednio w przeglądarce, co oznacza, że użytkownicy nie muszą ręcznie pobierać systemu, który może mieć rozmiar kilku gigabajtów. W ten sposób powstał model Vicuna 7B, który ma 7 miliardów parametrów. Może to być niezwykle przydatne przy projektowaniu bardziej dopasowanych wirtualnych asystentów i chatbotów, ponieważ wymagają one dużej ilości parametrów.
Korzystając z MLC LLM i Web LLM, można teraz wdrożyć dowolne model języka do wyboru na dowolnym urządzeniu. Naukowcy z Carnegie Mellon poinformowali, że otworzy to szereg zastosowań, które wcześniej nie były możliwe. Każdy model języka można teraz wdrażać na różnych urządzeniach komputerowych, takich jak laptopy i telefony, a nawet procesory i akceleratory wideo. Otwiera to świat możliwości przetwarzania języka naturalnego i uczenie maszynowe.
Nowa inicjatywa Carnegie Mellon toruje drogę dla szeregu nowych aplikacji i sposobów wykorzystania do rozumienia języka naturalnego. Ponieważ tych modeli językowych można używać na dowolnym urządzeniu, wdrożenie takiej technologii w wielu różnych scenariuszach jest znacznie łatwiejsze. Niezależnie od tego, czy chodzi o wirtualnych asystentów, czy automatyczną obsługę klienta, to nowe narzędzie może mieć drastyczny wpływ na sposób wykonywania tych zadań.
Zespół badawczy Carnegie Mellon opracował MLC LLM do uruchamiania na dowolnym urządzeniu, w tym iPhone'ach i innych inteligentnych urządzeniach domowych, z nowoczesnym procesorem i 6 GB lub więcej pamięci RAM. To usprawnione podejście oznacza, że urządzenia mogą teraz uruchamiać modele językowe z szybkością generowania niemal w czasie rzeczywistym, nawet jeśli zostały zoptymalizowane przez zewnętrznych programistów, a nie przez inżynierów Apple.
Oprócz umożliwienia naturalnej interakcji z produktami, MLC LLM można również wykorzystać do optymalizacji zadań związanych z zarządzaniem urządzeniami. Przy zaledwie od 4 GB do 6 GB pamięci RAM potrzebnej do działania, ten rewolucyjny model językowy będzie doskonałym dodatkiem do przyszłych modeli iPhone'a i potencjalnie mógłby zostać wprowadzony do produkcji bez długich proces rozwoju.
Wprowadzając MLC LLM model języka, naukowcy Carnegie Mellon stworzyli wydajny i solidny sposób uruchamiania modeli językowych na dowolnym urządzeniu. System MLC LLM to przełom w przetwarzaniu i przetwarzaniu języka naturalnego umożliwi użytkownikom do bardziej efektywnej interakcji z ich urządzeniami w naturalny sposób. Może również znacznie przyspieszyć proces opracowywania przyszłych zadań związanych z zarządzaniem urządzeniami. Możliwości są nieograniczone dzięki MLC LLM, a praca Carnegie Mellon z pewnością zmienić sposób, w jaki myślimy o modelach językowych na lepsze.
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
