Naukowcy kwestionują koncepcję „pojawiających się zdolności” modeli wielkojęzykowych
W skrócie
Apokalipsa AGI budzi niepokój ze względu na nagłe pojawienie się dużych modeli językowych demonstrowanie umiejętności których mniejsze modele zdają się nie mieć.
Zjawisko to nazywa się „wyłaniającymi się możliwościami dużych modeli językowych”.
Autorzy artykułu „Are Emergent Abilities of Large Language Models a Miraż?” twierdzą, że efektem pojawiających się zdolności nie jest miraż, ale raczej przewidywalny wzrost zdolności do wykonywania zadań.
Pokazują, że co najmniej 92% problemów Big Bencha nie ma nagłego przełomu dla dużych modeli, a jakość ich modeli rośnie płynnie i przewidywalnie wraz ze wzrostem wielkości modeli.
W niedawnym badaniu potencjalnych możliwości dużych modeli językowych badacze kwestionują pojęcie „wyłaniających się zdolności” i rzucają światło na bardziej przewidywalny aspekt ich funkcjonalności. Artykuł zatytułowany „Odsłanianie realiów pojawiających się zdolności dużych modeli językowych” zwraca uwagę na błędną interpretację wskaźników, która doprowadziła do błędnego przekonania, że modele te spontanicznie nabywają zaawansowane umiejętności.
Pojęcie „pojawiające się zdolności” w kontekście dużych modeli językowych, takich jak GPT serii, wzbudziło obawy dotyczące potencjału tych modeli w zakresie rozwoju nieprzewidzianych możliwości podobnych do ludzkiej świadomości. W artykule stwierdzono, że założenia te opierają się na błędnym zrozumieniu rzeczywistego zachowania i możliwości modeli.
Powszechnie obserwowane zjawisko, w którym większe modele pozornie nabywają nowo odkryte umiejętności, takie jak abstrakcyjne rozumowanie, rozwiązywanie problemów, a nawet poczucie humoru, zostało ukute jako „wyłaniające się zdolności modeli wielkojęzykowych”. Autorzy artykułu twierdzą, że zdolności te nie są tak spontaniczne, jak się wydaje, ale raczej wynikiem mylących wskaźników oceny.
Aby zilustrować swój punkt widzenia, badacze rozważają zadanie „odgadnięcia zagadki” – problem, w którym model językowy musi zrozumieć zagadkę w języku naturalnym i udzielić prawidłowej odpowiedzi w języku naturalnym. Tradycyjnie jakość odpowiedzi oceniano za pomocą metryki binarnej: odpowiedzi przypisuje się wynik 1, jeśli dokładnie pasuje do prawidłowej odpowiedzi, i wynik 0 w przeciwnym razie.
Sedno sprawy tkwi w wrażliwości metryki na złożoność zadania i liczbę parametrów modelu. Naukowcy ujawniają, że ta binarna metryka prowadzi do a zwodnicze postrzeganie „wyłaniających się zdolności”. Mniejsze modele często wykazują znikomą dokładność (eps) w tej metryce, podczas gdy większe modele, szczególnie te z dużą liczbą parametrów, wydają się osiągać niezwykłe poziomy dokładności (acc > 0.5).
W artykule stwierdzono, że ta widoczna zmiana zdolności nie wskazuje na to, że modele spontanicznie nabywają złożone umiejętności. Zamiast tego zdolność modeli do zrozumienia i wygenerowania bardziej zróżnicowanych odpowiedzi wynika z bardziej szczegółowej oceny ich wyników. Koncentrując się na dopasowaniu probabilistycznym i spójności semantycznej, a nie na dokładnych dopasowaniach ciągów, badacze wykazali, że progresja modeli w działaniu podąża bardziej logiczną trajektorią, niezależnie od ich wielkości.
| Związane z: Ewolucja chatbotów z ery T9 i GPT-1 do ChatGPT |
Badanie ewolucji wydajności modelu przy zmianie parametrów
W badaniu analitycznym badacze odkrywają subtelną mechanikę kryjącą się za postrzeganymi „pojawiającymi się zdolnościami”. duże modele językowe. Badanie kwestionuje wpływ metryk superdyskretnych na ocenę wydajności modelu i wyjaśnia bardziej predykcyjne zrozumienie ich możliwości w miarę rozszerzania się parametrów modelu.
Dominujące pojęcie „pojawiających się zdolności” w ekspansywnych modelach językowych wywołało dyskusje i wzbudziło obawy dotyczące potencjalnych przełomów. Celem tego badania jest rozwikłanie mechanizmów leżących u podstaw tego zjawiska i rozszyfrowanie, czy modele te rzeczywiście wykazują nagłe, bezprecedensowe możliwości, czy też te postrzegane postępy można przypisać innej przyczynie.
Podstawą badania jest skrupulatna ocena wskaźników stosowanych do oceny wydajności modelu. Naukowcy twierdzą, że użycie metryk superdyskretnych, szczególnie konwencjonalnej metryki binarnej, która określa dokładne dopasowanie ciągów, może zniekształcić interpretację dużych umiejętności modeli językowych. W badaniu szczegółowo analizowano ewolucję rozkładu prawdopodobieństwa odpowiedzi wygenerowanych przez model w miarę zmiany skali parametrów modelu.
W przeciwieństwie do pojęcia „wyłaniających się zdolności”, badanie ujawnia bardziej systematyczny trend. Wraz ze wzrostem rozmiaru modelu poprawia się jego zdolność do przypisywania wyższych prawdopodobieństw właściwym odpowiedziom i niższych prawdopodobieństw błędnym. Odzwierciedla to stały wzrost zdolności modelu do skutecznego rozwiązywania problemów w szerokim zakresie rozmiarów. Zasadniczo badanie sugeruje, że proces uczenia się modeli przebiega według dobrzedefioczekiwała raczej ścieżki poprawy niż nagłego skoku.
Autorzy wprowadzają zmianę paradygmatu, proponując zastąpienie metryk dyskretnych metrykami ciągłymi. Ta zmiana zapewnia wyraźniejszy obraz ewolucji wydajności. Dzięki swojej analizie naukowcy ustalili, że około 92 proc Problemy z Wielką Ławką wykazują płynny i przewidywalny wzrost jakości wraz ze wzrostem rozmiaru modelu. Odkrycie to podważa pogląd, że większe modele doświadczają nagłych przełomów, a zamiast tego podkreśla bardziej stopniowy i przewidywany postęp.
Badanie poszerza swoje spostrzeżenia, aby potwierdzić swoje twierdzenia. Pokazuje, że ten sam efekt „wschodzących zdolności” można sztucznie symulować przy użyciu konwencjonalnych autoenkoderów, co sugeruje, że wybór metryk znacząco wpływa na postrzegane wyniki. To odkrycie poszerza zakres implikacji badania, pokazując jego znaczenie wykraczające poza same modele językowe.
Naukowcy podkreślają, że ich wyniki tego nie potwierdzają definitywnie negują potencjał „wyłaniających się zdolności” lub świadomości w dużych modelach językowych. Jednak ich odkrycia zachęcają badaczy do podejścia do takich twierdzeń z zniuansowaną perspektywą. Zamiast pochopnie ekstrapolować i formułować skrajne wnioski, badanie podkreśla znaczenie skrupulatnych badań i wszechstronnej analizy.
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
