5 Pangunahing Insight sa Kinabukasan ng AI at LLM mula kay Dario Amodei, CEO ng Anthropic
Sa isang kamakailang podcast, si Dario Amodei, CEO ng Anthropic, ay nagbahagi ng mahahalagang insight sa mundo ng AI. Narito ang nangungunang 5 takeaways mula sa kanyang dalawang oras na pag-uusap.
Tumutok sa Hindi Nagagawa ng Mga Modelo Ngayon
Nang tanungin tungkol sa mga negosyo at produkto sa paligid ng Large Language Models (LLMs), ipinayo ni Dario, "Mas magandang tumuon sa kung ano ang hindi magagawa ng mga modelo ngayon." Binigyang-diin niya na kung makakamit lamang ng mga LLM ang isang gawain nang tama sa 40% ng oras, may puwang para sa makabuluhang pagpapabuti sa malapit na hinaharap. Hinikayat niya ang mga negosyo na bumuo ng mga produkto na may pagtingin sa pag-unlad at kahit na iminungkahi ang pakikipagsosyo sa Anthropic upang madagdagan ang kanilang mga pagkakataong magtagumpay.
Ipinaliwanag pa ni Dario na sa pamamagitan ng pagtukoy sa mga limitasyon ng mga LLM, maaaring matuklasan ng mga negosyo ang hindi pa nagagamit na mga pagkakataon para sa pagbabago at pagkakaiba. Binigyang-diin niya ang kahalagahan ng pag-unawa sa mga kontekstwal na nuances at kumplikadong mga kakayahan sa pangangatwiran na kulang sa kasalukuyang mga modelo, na maaaring magbigay daan para sa mga bagong solusyon at pagsulong sa natural na teknolohiya sa pagproseso ng wika.
Mga Nabigong Predictions at ang Quest for Reinforcement Learning
Ang pag-amin ni Dario sa kanyang nabigong hula tungkol sa mga LLM na nagiging mga ahente sa pamamagitan ng Reinforcement Learning, katulad ng mga sikat na laro tulad ng Dota 2, Go, at Starcraft, ay nagdulot ng muling pagsusuri sa teknolohikal na tanawin. Sa halip na masaksihan ang inaasahang pag-unlad, nasaksihan ng industriya ang isang makabuluhang pagbabago sa pagtuon. Itinuturo na ngayon ng mga kumpanya ang kanilang mga pamumuhunan patungo sa pagpapatibay kapangyarihan ng computing at pagpapalakas ng mga bilang ng neuron.
Ang paunang pananaw ng mga LLM ay tuluy-tuloy na lumilipat sa ganap mga autonomous na ahente sa pamamagitan ng Reinforcement Learning ay nakatagpo ng mga hadlang sa kalsada. Sa kabila ng kabiguan na ito, nananatiling optimistiko si Dario tungkol sa hinaharap. Naniniwala siya na habang ang yugtong ito ng pag-unlad ay maaaring nasa unahan pa, ang mga hindi inaasahang pagliko at pagliko ay muling hinubog ang pagkakasunud-sunod ng mga pagsulong sa teknolohiya.
Sa pagbibigay-diin sa pagtaas ng kapangyarihan sa pag-compute at bilang ng neuron, nagsusumikap ang mga kumpanya na pahusayin ang mga kakayahan ng mga LLM. Ang bagong direksyon na ito ay nagpapahiwatig ng pagkilala sa kahalagahan ng mga mapagkukunan ng computational at pagiging kumplikado ng neural network. Sa pamamagitan ng labis na pamumuhunan sa mga lugar na ito, umaasa ang mga mananaliksik at developer na magbubukas ng mga bagong posibilidad at madaig ang mga hamon na humadlang sa pagsasakatuparan ng orihinal na hula ni Dario.
Ang Kinabukasan ng Pagsusukat ng mga LLM
Sa pagtugon sa mga alalahanin na nakapaligid sa scalability ng mga LLM dahil sa mga limitasyon ng data, kumpiyansa na ipinahayag ni Amodei na hindi niya inaakala na magiging malaking balakid ito sa malapit na hinaharap, maliban marahil sa huling 10% ng pag-unlad. Sa isang paghahayag, ipinahiwatig niya ang potensyal ng pagbuo ng sintetikong data bilang isang promising na solusyon upang mapagtagumpayan ang hamon na ito, isang paksang hindi pa niya napag-isipan noon. Gayunpaman, nagbabala si Amodei na ang pagiging epektibo ng pamamaraang ito sa nais na sukat ay nananatiling hindi napatunayan.
Ang pagtiyak ni Amodei tungkol sa scalability ng mga LLM ay nagbibigay ng pakiramdam ng optimismo sa loob ng komunidad ng AI. Habang ang kakulangan ng data ay isang punto ng pag-aalala, ang kanyang paniniwala sa pamamahala ng isyung ito para sa karamihan ng pag-unlad ay nakapagpapatibay. Sa pamamagitan ng pagkilala na ang huling 10% ay maaaring magpakita ng mas malalaking hamon, itinatampok ng Amodei ang pangangailangan para sa mga makabagong solusyon upang itulak ang mga hangganan ng mga kakayahan ng LLM.
Ang pagbanggit ni Amodei sa diskarteng ito ay nagpapahiwatig na ang mga mananaliksik at developer ay aktibong nag-e-explore ng mga alternatibong pamamaraan para dagdagan ang mga kasalukuyang dataset. Ang pagbuo ng sintetikong data ay kinabibilangan ng paglikha ng artipisyal na data na ginagaya ang mga pattern at katangian ng totoong mundo. Sa pamamagitan ng paggamit ng diskarteng ito, posibleng makabuo ng karagdagang data ng pagsasanay upang mapahusay ang pagganap at scalability ng mga LLM.
Paghuhula sa Kinabukasan ng mga LLM
Ang forecast ni Dario Amodei para sa AI landscape sa 2024 ay may malaking implikasyon para sa patuloy na ebolusyon ng Malaking Modelo ng Wika (LLMs). Bagama't ang kanyang inaasahan ay para sa malaki ngunit hindi rebolusyonaryong pag-unlad sa mga LLM mula sa pananaw ng consumer sa loob ng susunod na taon, ang pinagbabatayan na dinamika ay nararapat na tuklasin pa.
Sa kanyang bisyon ng 2024, naisip ni Dario na ang mga mamimili ay makakaranas ng kapansin-pansin mga pagpapahusay sa mga kakayahan ng LLM. Maaaring isalin ang mga pagpapahusay na ito sa mas tumpak na mga tugon, mas malalim na pag-unawa sa mga nuanced na query, at mas mataas na antas ng katatasan sa pakikipag-usap. Maaaring makita ng mga user ang kanilang sarili na nakikipag-ugnayan sa mga AI system na pakiramdam ay lalong intuitive at parang tao sa kanilang mga pakikipag-ugnayan. Gayunpaman, ang pinakabuod ng kanyang hula ay nakasalalay sa potensyal para sa mga negosyo na magamit ang mga pagsulong na ito.
Habang ang 2024 ay nangangako ng mga bagong pag-unlad, ang pag-asam ni Dario sa mas malaking pagbabago sa 2025 o 2026 ay nagpapahiwatig ng isang potensyal na punto ng pagbabago sa AI landscape. Iminumungkahi ng timeframe na ito ang pagkahinog ng mga teknolohiya ng AI sa isang punto kung saan magsisimula ang mga ito sa muling pag-unladdefine societal norms at expectations.
Mga Pagsulong sa LLM Interpretability
Tinukoy ni Amodei ang paksa ng LLM interpretability at ipinahayag na ang Anthropic ay gumagawa ng isang bagong proyekto na pinamagatang "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning“. Nagpahayag siya ng optimismo tungkol sa pagkamit ng mahusay na pag-unlad sa pag-unawa sa mga indibidwal na neuron sa loob ng mga LLM, na may inaasahang mga praktikal na resulta sa loob ng 2-3 taon. Ang pag-unlad na ito ay maaaring makabuluhang mapahusay ang kaligtasan ng AI.
Magbasa nang higit pa:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
