LLM programi: Novi put do finog podešavanja neuronskih modela u složenim situacijama
Ukratko
Autori predlažu alternativni put nazvan LLM Programs, koji se može smatrati razvojem učenja u kontekstu.
Ključ za rješavanje problema kroz LLM program je sposobnost rastavljanja rješenja problema u niz jednostavnijih koraka.
Dva su glavna područja prilagodbe LLM-a: fino podešavanje (ili dodatna obuka) prethodno obučenog osnovnog modela i učenje u kontekstu. Fino ugađanje zahtijeva značajne računalne resurse, prikupljanje podataka i infrastrukturu da bi se to učinilo, a zatim udomilo fino podešene modele. U međuvremenu, učenje u kontekstu uključuje sastavljanje pravog odziva s primjerima rješavanja problema, kao što je lanac misli (CoT). Međutim, postoje neke poteškoće, kao što je ograničena veličina teksta koji se može poslati modelu i činjenica da u složenom višeprolaznom upitu koraci mogu ometati jedni druge, a model može biti ometen nečim to ne bi trebalo biti ometeno u ovom trenutku. Autori predlažu alternativni put tzv LLM programi, što se može smatrati razvojem učenja u kontekstu.
| Preporučena: Prompt Engineering Ultimate Guide 2023 |
LLM je ugrađen u program (u konvencionalnom programski jezik, na primjer, u Pythonu). Ovaj vanjski kod odgovoran je za pohranjivanje stanja i održavanje modela korak po korak. Ima nekoliko velikih prednosti: programski jezici prilagođeni su za to, veličina dostupnog konteksta raste, a koraci ne ometaju jedni druge. Ključ za rješavanje problema kroz LLM program je sposobnost rastavljanja rješenja problema u niz jednostavnijih koraka. Ovaj se pristup razlikuje od prethodnih radova, gdje su se za model koristili vanjski alati poput kalkulatora ili tumači koda održavati državu. Ovaj pristup je dobar jer je na ovaj način moguće opisati složen i sveobuhvatan zadatak, što olakšava testiranje, otklanjanje pogrešaka i ocjenjivanje kvalitete.
Osim toga, nema smetnji između koraka, što olakšava rad s LLM-om. Sustavi pitanja i odgovora također nisu novost; postojali su mnogo prije LLM-a. Kako je sada riješen zadatak odgovaranja na pitanja?
Stranice se često ažuriraju, pa a zamrznuti model nije opcija; brzo će zastarjeti i neće moći odgovoriti na pitanja o novim proizvodima. Konstantno ponovno uvježbavanje modela za svako ažuriranje nije realna opcija: skupo je i dugotrajno. Umjesto toga, stranice web stranice obično se indeksiraju, stavljaju u neku vrstu baze podataka i često vektoriraju. Na zahtjev korisnika, relevantni dokumenti se izvlače i šalju kao kontekst LLM-u.
U takvoj paradigmi problem se prirodno rješava kroz LLM program. Kao bonus, to postaje moguće implementirati složeniju višeprolaznu logiku koja se ne bi u potpunosti uklopila u kontekst.
Testirano na Skup podataka StrategyQA koji sadrži probleme binarne klasifikacije, čije rješenje uključuje višesmjerno zaključivanje. Kao "Prodire li sunčeva svjetlost u najdublje mjesto Crnog mora?". Da biste odgovorili, morate pronaći najveću dubinu (2 km) i koliko duboko svjetlost prodire u vodu (1 km), a zatim izvući zaključak. Pogledajmo još jedan primjer pitanja: "Je li Aristotel koristio prijenosno računalo?" Ovo pitanje nije tako jednostavno i ne slijedi eksplicitno slijed koraka zaključivanja kao što je "Je li Aristotel bio živ kad je laptop izumljen?" radi. Skup podataka usredotočen je na pitanja gdje je takav niz implicitan. Postoji samo 2,780 pitanja u skupu podataka, od kojih samo 918 ima odlomke s dokazima koji potkrepljuju sve korake obrazloženja. U trenutnom radu, ograničava se na ovaj podskup; inače bismo se morali osloniti na LLM učenje nekih činjenica tijekom predosposobljavanja.
OPT-175B LLM prema zadanim postavkama nije baš dobar u praćenju uputa; nije morao fino podešavati upute niti podatke o razgovoru. Kako bi se riješio problem odgovora na pitanja potkrijepljen dokazima, podijeljen je na fazu filtriranja podataka i fazu pretraživanja stabla.
U fazi filtriranja, postavljajući pitanje, programeri prolaze kroz sve odlomke i odabiru najrelevantnije. Na primjer, uz upit od nekoliko hitaca, zamolite LLM da odgovori (da/ne) je li određeni odlomak relevantan za postavljeno pitanje. Testirano na podskupu od 300 StrategyQA, gdje je svako pitanje povezano s odlomkom, relevantnim ili ne, 50/50. OPT-175B i text-davinci-002 nemaju a mnogo kvalitetniji od nasumične osnovne vrijednosti: do 56%. Što napredniji 11B Tk-Uputa nije puno bolji sa 61.6%.
Zbog loše kvalitete ovog pristupa, sastavljena je alternativa koja uzima u obzir prosječnu negativnu log-vjerojatnost (NLL) pitanja u kombinaciji s prethodnim odlomkom teksta i zatim rangira rezultate. Procijenjeno na skupu podataka gdje je za svako pitanje bilo 100 odlomaka, a samo je jedan bio relevantan (tako da nasumično pogađanje daje 1%). Dobili smo top-1 točnost na 79% i top-5 na 93%. Za ovaj izračun obično vam je potreban pristup samom modelu, što se ne radi uvijek u API-ju.
Slijedi faza izgradnje izlaznih lanaca. To se radi pretraživanjem stabla gdje je pitanje korijen, a na svakoj razini postoji mnogo odlomaka s mogućim dokazima koji se koriste kao kontekst za generiranje sljedećeg koraka. Svaki put kroz stablo je potencijalni izlazni lanac. Nerealno je donositi zaključak o svim mogućim lancima, pa se rangiraju svi dostupni lanci, a proširuje se lanac najvišeg ranga. Ovo je takva varijanta pretraživanja snopa. Proces se zaustavlja kada se odgovori ili prođe maksimalan dopušteni broj koraka.
Najvažniji detalji su dvije strategije rangiranja testirane za korak pretraživanja stabla. Prva se strategija temelji na prosječnom NLL-u cijelog lanca, dok druga strategija gleda na prosječnu razliku u NLL-u sa i bez paragrafa (P), sa i bez pitanja (Q). Na dostupnih 918 pitanja iz StrategyQA, ovaj pristup značajno poboljšava kvalitetu odgovora u odnosu na početnu vrijednost s CoT (60%); obje opcije pretraživanja daju oko 66% (strategija s malo višom deltom). Ako se predaju zlatne činjenice, kvaliteta postaje oko 81%, što je gornja granica za OPT. Čini se da Darklang ide tamo negdje ali na malo drugačiji način.
Članak je nastao na temelju Telegrama pošta.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
