Magiging Maliliit na Modelo ang Malaking Language Models Ngayon, Ayon sa isang Researcher sa OpenAI
Hyung Won Chung, isang mahusay na AI researcher na dating nagtatrabaho sa Google Brain at kasalukuyang miyembro ng OpenAI team, ay nagbigay ng 45-minutong talumpati na nakapag-iisip kung saan ginalugad niya ang mundo ng malalaking modelo ng wika noong 2023. Si Chung ay may karanasan sa larangan; siya ang unang may-akda ng Google paper "Pag-scale ng Instruction-Finetuned Language Models,” na sumusuri kung paano masasanay ang malalaking modelo ng wika upang sundin ang mga tagubilin.
Binibigyang-diin ni Chung ang mundo ng malawak na mga modelo ng wika bilang pagiging dinamiko. Sa mundo ng mga LLM, ang gabay na prinsipyo ay patuloy na nagbabago, kabaligtaran sa mga tradisyonal na larangan kung saan ang mga pangunahing pagpapalagay ay karaniwang nananatiling matatag. Sa paparating na henerasyon ng mga modelo, ang kasalukuyang iniisip na imposible o hindi praktikal ay maaaring maging posible. Binibigyang-diin niya ang kahalagahan ng pagpapauna sa karamihan ng mga claim tungkol sa mga kakayahan ng LLM sa "sa ngayon". Ang isang modelo ay maaaring magsagawa ng isang gawain; hindi pa ito nagagawa.
Ang mga malalaking modelo ngayon ay magiging maliliit na modelo sa loob lamang ng ilang taon
Hyung Won Chung, OpenAI
Ang pangangailangan para sa masusing dokumentasyon at reproducibility sa pananaliksik sa AI ay isa sa pinakamahalagang aral na matututuhan mula sa talumpati ni Chung. Napakahalaga na masusing idokumento ang patuloy na gawain habang umuunlad ang larangan. Ginagarantiyahan ng diskarteng ito na ang mga eksperimento ay maaaring mabilis na mai-replicate at muling bisitahin, na nagbibigay-daan sa mga mananaliksik na bumuo sa naunang gawain. Sa pamamagitan ng pagsasanay na ito, kinikilala na ang mga kakayahan ay maaaring umunlad sa hinaharap na hindi praktikal sa paunang pananaliksik.
Inilaan ni Chung ang isang bahagi ng kanyang talumpati upang ipaliwanag ang mga intricacies ng data at model parallelism. Para sa mga interesadong pag-aralan nang mas malalim ang mga teknikal na aspeto ng AI, ang seksyong ito ay nagbibigay ng mahahalagang insight sa mga panloob na gawain ng mga parallelism technique na ito. Ang pag-unawa sa mga mekanismong ito ay mahalaga para sa pag-optimize malakihang pagsasanay sa modelo.
Ipinalagay ni Chung na ang kasalukuyang layunin ng function, Maximum Likelihood, na ginagamit para sa LLM pre-training ay isang bottleneck pagdating sa pagkamit ng tunay na malalaking sukat, tulad ng 10,000 beses ang kapasidad ng GPT-4. Habang umuusad ang pag-aaral ng machine, lalong nagiging nililimitahan ang mga function ng pagkawala ng manual na idinisenyo.
Iminumungkahi ni Chung na ang susunod na paradigm sa pagbuo ng AI ay nagsasangkot ng mga pag-andar sa pag-aaral sa pamamagitan ng magkakahiwalay na mga algorithm. Ang pamamaraang ito, bagama't sa simula nito, ay may pangako ng scalability na lampas sa kasalukuyang mga hadlang. Itinatampok din niya ang mga patuloy na pagsisikap, tulad ng Reinforcement Learning from Human Feedback (RLHF) na may Rule Modeling, bilang mga hakbang sa direksyong ito, bagama't ang mga hamon ay nananatiling malampasan.
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
