Gorzka lekcja: dlaczego ChatGPT Triumf nad ręcznie wykonanymi technikami obliczeniowymi
W skrócie
Esej profesora Richa Suttona z 2019 r. „Gorzka lekcja” przewiduje znaczące postępy w sztucznej inteligencji, takie jak ChatGPT/GPT-4 i OpenAImetodyki.
Tekst podkreśla zmianę paradygmatu w sztucznej inteligencji, w której metody obliczeniowe dominują nad wydajnością bez ludzkiej intuicji.
Jednakże wiele badacze nadal stosują podejścia oparte na intuicji, pomijając potencjał metod opartych na obliczeniach.
Esej "Gorzka lekcja”, napisany przez profesora Richa Suttona w 2019 roku, od tego czasu zyskał na znaczeniu dla ekspertów od uczenia maszynowego i osób zainteresowanych zrozumieniem przyszłości sztucznej inteligencji. Spostrzeżenia przedstawione w tym dokumencie przewidywały ważne zmiany w sztucznej inteligencji, w tym pojawienie się ChatGPT/GPT-4 i akceptacji OpenAImetodyki.
Trzon „Gorzkiej lekcji” dotyczy zmiany paradygmatu w dziedzinie sztucznej inteligencji. W przeszłości naukowcy badający sztuczną inteligencję mieli tendencję do myślenia, że rozwój zaawansowanej sztucznej inteligencji wymaga niezwykłego, charakterystycznego podejścia, znanego również jako „błąd indukcyjny”. Pomysł ten nawiązuje do dodania specjalistycznych informacji lub intuicyjnego zrozumienia konkretnego problemu, który następnie kieruje ścieżką rozwiązania maszyny.
Główny temat „Gorzkiej lekcji” dotyczy zmiany paradygmatu w badaniach nad sztuczną inteligencją. Wcześniej badacze badający sztuczną inteligencję byli skłonni wierzyć, że stworzenie zaawansowanej sztucznej inteligencji wymaga niezwykłego, unikalnego podejścia. To odchylenie jest określane jako „odchylenie indukcyjne”. Ta koncepcja sugeruje dodanie specjalistycznej wiedzy lub intuicyjnego wglądu w konkretny problem, który następnie kieruje ścieżką rozwiązania maszyny.
Ale powtarzający się wzór stał się widoczny. Naukowcy wielokrotnie to stwierdzali, po prostu dodając więcej danych i mocy obliczeniowej, mogą przewyższyć wyniki uzyskiwane za pomocą tych skrupulatnie opracowanych metod. Ten wzorzec nie był specyficzny dla jednej dziedziny, ale pojawił się w szachach, go, starcraft i prawdopodobnie również w sieci. Konwolucyjne sieci neuronowe, na przykład, radzą sobie lepiej w dziedzinie widzenia komputerowego niż techniki manualne, takie jak SIFT. Warto zauważyć, że wynalazca SIFT powiedział później, że gdyby sieci neuronowe były w pobliżu, kiedy prowadził swoje badania, wybrałby ten sposób działania. podobny do tego, LSTM przewyższały wszystkie systemy oparte na regułach w dziedzinie tłumaczeń maszynowych. Stosując prostą strategię „dodaj więcej warstw”, ChatGPT/GPT-4, wiodący przykład tego trendu, był w stanie wyprzedzić wysoko rozwinięte modele stworzone przez lingwistów komputerowych.
Istotą „gorzkiej lekcji” Suttona jest to, że metody obliczeniowe, które nie są modyfikowane przez ludzką intuicję, często przewyższają inne podejścia pod względem wydajności. To zrozumienie nie stało się jednak powszechnie akceptowane. Wielu badaczy nadal stosuje złożone strategie oparte na intuicji, często ignorując potencjał integracyjnych podejść opartych na obliczeniach.
Pięć powodów GPT zatriumfował nad ręcznie wykonanymi technikami obliczeniowymi:
- Skalowalność: Metody obliczeniowe, zwłaszcza wzbogacone o większą ilość danych, mogą ewoluować i dostosowywać się wraz z postępem technologicznym, czyniąc je bardziej przyszłościowymi.
- Wydajność: Ogólne metody oparte na obliczeniach i danych konsekwentnie przewyższają specjalistyczne metody oparte na ludzkiej intuicji w różnych dziedzinach, od gier takich jak szachy i Go po tłumaczenie maszynowe i widzenie komputerowe.
- Szerokie zastosowanie: Te ogólne, oparte na obliczeniach metody są wszechstronne i mogą być stosowane w różnych dyscyplinach bez konieczności wprowadzania poprawek specyficznych dla domeny.
- Prostota: Systemy zbudowane na surowo moc obliczeniowa podejście do danych jest zwykle prostsze i nie wymaga skomplikowanych dostosowań w oparciu o ludzką intuicję.
- Stała wydajność: Jak pokazują przykłady takie jak ChatGPT/GPT-4modele oparte na obliczeniach mogą osiągnąć niezmiennie wysoką wydajność, często przewyższającą specjalistyczne metody.
Oryginalny esej jest bezcennym narzędziem do lepszego zrozumienia punktu widzenia profesora Suttona i zasad kierujących tą trajektorią sztucznej inteligencji.
Artykuł został zainspirowany kanałem Telegram „Borys ponownie."
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
