Według badacza z OpenAI
Hyung Won Chung, utalentowany badacz sztucznej inteligencji, który wcześniej był zatrudniony w Google Brain, a obecnie jest członkiem OpenAI zespołu, wygłosił dające do myślenia 45-minutowe przemówienie, w którym zgłębiał świat dużych modeli językowych w roku 2023. Chung ma doświadczenie w tej dziedzinie; był pierwszym autorem artykułu Google „Skalowanie instrukcji – dostrojone modele językowe,”, który bada, jak można wytrenować duże modele językowe, aby postępowały zgodnie z instrukcjami.
Chung podkreśla, że świat ekstensywnych modeli językowych jest dynamiczny. W świecie LLM naczelna zasada stale ewoluuje, w przeciwieństwie do tradycyjnych dziedzin, w których podstawowe założenia zazwyczaj pozostają niezmienne. Wraz z nadchodzącą generacją modeli to, co obecnie uważane jest za niemożliwe lub niepraktyczne, może stać się możliwe. Podkreśla znaczenie poprzedzania większości twierdzeń na temat możliwości LLM słowami „na razie”. Model może wykonać zadanie; po prostu jeszcze tego nie zrobiło.
Dzisiejsze duże modele będą małymi modelami już za kilka lat
Hyung Won Chung, OpenAI
Potrzeba skrupulatnej dokumentacji i powtarzalności w Badania AI to jedna z najważniejszych lekcji, jaką można wyciągnąć z przemówienia Chunga. Dokładne dokumentowanie bieżących prac w miarę rozwoju dziedziny jest niezwykle istotne. Strategia ta gwarantuje, że eksperymenty można szybko powtórzyć i ponownie przeglądać, umożliwiając naukowcom korzystanie z wcześniejszych prac. Uznaje się, że dzięki tej praktyce w przyszłości mogą rozwinąć się możliwości, które nie były praktyczne podczas początkowych badań.
Chung poświęca część swojego wystąpienia wyjaśnieniu zawiłości danych i równoległości modeli. Osobom zainteresowanym głębszym zgłębieniem technicznych aspektów sztucznej inteligencji ta sekcja zawiera cenne informacje na temat wewnętrznego działania technik równoległości. Zrozumienie tych mechanizmów jest kluczowe dla optymalizacji szkolenie modelowe na dużą skalę.
Chung zakłada, że obecna funkcja celu, Maksymalne prawdopodobieństwo, używana w przygotowaniu do szkolenia LLM, stanowi wąskie gardło, jeśli chodzi o osiągnięcie naprawdę ogromnych skal, takich jak 10,000 XNUMX-krotność wydajności GPT-4. W miarę postępu uczenia maszynowego ręcznie zaprojektowane funkcje utraty stają się coraz bardziej ograniczające.
Chung sugeruje, że kolejny paradygmat rozwoju sztucznej inteligencji obejmuje uczenie się funkcji za pomocą oddzielnych algorytmów. Podejście to, choć w powijakach, kryje w sobie obietnicę skalowalności wykraczającej poza obecne ograniczenia. Podkreśla także trwające wysiłki, takie jak uczenie się przez wzmacnianie na podstawie informacji zwrotnej od ludzi (RLHF) z modelowaniem reguł, jako kroki w tym kierunku, chociaż wyzwania pozostają do pokonania.
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
