Mga Programa ng LLM: Ang Bagong Landas sa Pag-aayos ng Mga Neural na Modelo sa Mga Masalimuot na Sitwasyon
Sa madaling sabi
Ang mga may-akda ay nagmumungkahi ng alternatibong landas na tinatawag na LLM Programs, na maaaring ituring bilang pagbuo ng in-context na pag-aaral.
Ang susi sa paglutas ng problema sa pamamagitan ng LLM Program ay ang kakayahang i-decompose ang solusyon sa isang problema sa isang pagkakasunud-sunod ng mas simpleng mga hakbang.
Mayroong dalawang pangunahing bahagi ng pagpapasadya ng LLM: fine-tuning (o karagdagang pagsasanay) ang pre-trained na base model at in-context learning. Nangangailangan ang fine-tuning ng mga makabuluhang mapagkukunan sa pag-compute, pangongolekta ng data, at imprastraktura upang magawa ito at pagkatapos ay mag-host ng mga fine-tune na modelo. Samantala, ang in-context na pag-aaral ay kinabibilangan ng pag-compile ng tamang prompt na may mga halimbawa ng paglutas ng problema, tulad ng Chain-of-Thought (CoT). Gayunpaman, mayroong ilang mga paghihirap, tulad ng limitadong laki ng teksto na maaaring isumite sa modelo at ang katotohanan na sa isang kumplikadong multi-pass prompt, ang mga hakbang ay maaaring makagambala sa isa't isa, at ang modelo ay maaaring makagambala ng isang bagay. na hindi dapat magambala sa sandaling ito. Ang mga may-akda ay nagmumungkahi ng isang alternatibong landas na tinatawag na Mga Programa ng LLM, na maaaring ituring na pagbuo ng in-context na pag-aaral.
| Inirerekomenda: Prompt Engineering Ultimate Guide 2023 |
Ang LLM ay binuo sa programa (sa isang maginoo programming language, halimbawa, sa Python). Ang panlabas na code na ito ay responsable para sa pag-iimbak ng estado at pagpapanatili ng modelo nang sunud-sunod. Mayroon itong ilang pangunahing bentahe: Ang mga programming language ay iniangkop para dito, ang laki ng magagamit na konteksto ay lumalaki, at ang mga hakbang ay hindi nakakasagabal sa isa't isa. Ang susi sa paglutas ng problema sa pamamagitan ng LLM Program ay ang kakayahang i-decompose ang solusyon sa isang problema sa isang pagkakasunud-sunod ng mas simpleng mga hakbang. Ang diskarte na ito ay naiiba sa mga nakaraang gawa, kung saan ang modelo ay gumamit ng mga panlabas na tool tulad ng mga calculator o mga tagasalin ng code upang mapanatili ang estado. Ang diskarte na ito ay mabuti dahil posible na ilarawan ang isang kumplikado at kumakalat na gawain sa ganitong paraan, na ginagawang mas madali ang pagsubok, pag-debug, at pagsusuri ng kalidad.
Bukod pa rito, walang interference sa pagitan ng mga hakbang, na ginagawang mas madali ang pagtatrabaho sa LLM. Ang mga sistema ng tanong-sagot ay hindi rin bago; matagal na silang umiral bago ang mga LLM. Paano nalutas ngayon ang gawain ng pagsagot sa mga tanong?
Ang mga site ay madalas na ina-update, kaya a frozen na modelo ay hindi isang opsyon; mabilis itong magiging lipas na sa panahon at hindi na makakasagot sa mga tanong tungkol sa mga bagong produkto. Ang patuloy na pag-retraining ng modelo para sa bawat pag-update ay hindi isang makatotohanang opsyon: Ito ay mahal at nakakaubos ng oras. Sa halip, ang mga pahina ng website ay karaniwang na-index, inilalagay sa ilang uri ng database, at kadalasang na-vector. Sa kahilingan ng isang user, ang mga nauugnay na dokumento ay kinuha at ipinadala bilang isang konteksto sa LLM.
Sa gayong paradigma, ang problema ay natural na nalulutas sa pamamagitan ng LLM Program. Bilang isang bonus, ito nagiging posible upang ipatupad ang mas kumplikadong multi-pass na lohika na hindi ganap na magkasya sa konteksto.
Sinubok sa Dataset ng StrategyQA naglalaman ng mga problema sa pag-uuri ng binary, na ang solusyon ay kinabibilangan ng multi-way na pangangatwiran. Tulad ng "Ang sikat ng araw ba ay tumagos sa pinakamalalim na lugar ng Black Sea?". Upang sumagot, kailangan mong hanapin ang pinakamataas na lalim (2 km) at kung gaano kalalim ang liwanag na tumagos sa tubig (1 km), at pagkatapos ay gumawa ng konklusyon. Tingnan natin ang isa pang halimbawang tanong: "Gumamit ba si Aristotle ng laptop?" Ang tanong na ito ay hindi kasing diretso at hindi sumusunod sa pagkakasunud-sunod ng mga hakbang sa pangangatwiran nang tahasan gaya ng "Buhay pa ba si Aristotle noong naimbento ang laptop?" ginagawa. Nakatuon ang dataset sa mga tanong kung saan implicit ang naturang pagkakasunod-sunod. Mayroon lamang 2,780 na tanong sa dataset, kung saan 918 lamang ang may mga talata na may ebidensya na nagpapatibay sa lahat ng hakbang ng pangangatwiran. Sa kasalukuyang gawain, nililimitahan nito ang subset na ito; kung hindi, kailangan nating umasa sa pag-aaral ng LLM ng ilang katotohanan sa panahon ng pretraining.
Ang OPT-175B LLM, bilang default, ay hindi masyadong mahusay sa pagsunod sa mga tagubilin; hindi nito kailangang i-finetune ang mga tagubilin o sa data ng pakikipag-usap. Upang malutas ang problema sa pagsagot sa tanong na suportado ng ebidensya, ay nahahati sa isang yugto ng pag-filter ng data at isang yugto ng paghahanap ng puno.
Sa yugto ng pag-filter, sa pagkakaroon ng isang tanong, ang mga developer ay dumaan sa lahat ng mga talata at piliin ang mga pinaka-may-katuturan. Halimbawa, sa ilang-shot prompt, hilingin sa LLM na sagutin (oo/hindi) kung ang isang ibinigay na talata ay may kaugnayan sa itinanong. Sinubukan sa isang 300 subset ng StrategyQA, kung saan ang bawat tanong ay itinugma sa isang talata, may kaugnayan o hindi, 50/50. Ang OPT-175B at text-davinci-002 ay walang a mas mataas na kalidad kaysa sa random na baseline: hanggang 56%. Ang mas advanced 11B Tk-Instruct ay hindi gaanong mas mahusay sa 61.6%.
Dahil sa hindi magandang kalidad ng diskarteng ito, pinagsama-sama ang isang alternatibo na isinasaalang-alang ang average na negatibong log-likelihood (NLL) ng tanong kasama ang naunang talata ng teksto at pagkatapos ay niraranggo ang mga resulta. Sinuri sa isang dataset kung saan para sa bawat tanong, mayroong 100 talata, at isa lang ang may kaugnayan (kaya ang random na paghula ay nagbibigay ng 1%). Nakuha namin ang top-1 accuracy sa 79% at top-5 sa 93%. Para sa pagkalkulang ito, karaniwang kailangan mo ng access sa mismong modelo, na hindi palaging ginagawa sa API.
Susunod ay ang yugto ng pagbuo ng mga kadena ng output. Ginagawa ito sa pamamagitan ng paghahanap sa isang puno kung saan ang tanong ay ang ugat, at sa bawat antas, maraming mga talata na may posibleng ebidensya na ginamit bilang konteksto upang makabuo ng susunod na hakbang. Ang bawat landas sa puno ay isang potensyal na kadena ng output. Hindi makatotohanang gumawa ng konklusyon sa lahat ng posibleng chain, kaya lahat ng available na chain ay niraranggo, at ang pinakamataas na ranggo na chain ay pinalawak. Isa itong variation ng beam search. Ang proseso ay hihinto kapag ang isang tugon ay ginawa o ang maximum na pinapayagang bilang ng mga hakbang ay lumipas na.
Ang pinakamahalagang detalye ay ang dalawang diskarte sa pagraranggo na sinubukan para sa hakbang sa paghahanap ng puno. Ang unang diskarte ay batay sa average na NLL ng buong chain, habang ang pangalawang diskarte ay tumitingin sa average na pagkakaiba sa NLL na may at walang talata (P), na may at walang tanong (Q). Sa available na 918 na tanong mula sa StrategyQA, ang diskarteng ito ay makabuluhang nagpapabuti sa kalidad ng sagot na may kaugnayan sa baseline na may CoT (60%); ang parehong mga pagpipilian sa paghahanap ay nagbibigay ng humigit-kumulang 66% (ang diskarte na may bahagyang mas mataas na delta). Kung ang mga ginintuang katotohanan ay isinumite, ang kalidad ay magiging humigit-kumulang 81%, na siyang pinakamataas na limitasyon para sa OPT. Parang may pupuntahan si Darklang pero medyo iba ang paraan.
Ang artikulo ay batay sa Telegram magpaskil.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
