Programi LLM: Nova pot do natančnega prilagajanja nevronskih modelov v kompleksnih situacijah
Na kratko
Avtorji predlagajo alternativno pot, imenovano LLM Programs, ki jo lahko obravnavamo kot razvoj učenja v kontekstu.
Ključ do rešitve problema s programom LLM je sposobnost razgradnje rešitve problema na zaporedje enostavnejših korakov.
Obstajata dve glavni področji prilagajanja LLM: natančno prilagajanje (ali dodatno usposabljanje) predhodno usposobljenega osnovnega modela in učenje v kontekstu. Natančna nastavitev zahteva znatne računalniške vire, zbiranje podatkov in infrastrukturo za to in nato gostovanje natančno nastavljenih modelov. Medtem pa učenje v kontekstu vključuje sestavljanje pravega poziva s primeri reševanja problema, kot je veriga misli (CoT). Vendar pa obstaja nekaj težav, kot je omejena velikost besedila, ki ga je mogoče predložiti modelu, in dejstvo, da lahko v zapletenem pozivu z več prehodi koraki motijo drug drugega in model lahko kaj zmoti. ki se trenutno ne sme motiti. Avtorji predlagajo alternativno pot, imenovano LLM programi, kar lahko štejemo za razvoj učenja v kontekstu.
| Priporočamo: Prompt Engineering Ultimate Guide 2023 |
LLM je vgrajen v program (v običajnem programski jezik, na primer v Pythonu). Ta zunanja koda je odgovorna za shranjevanje stanja in vzdrževanje modela korak za korakom. Ima nekaj večjih prednosti: programski jeziki so temu prilagojeni, velikost razpoložljivega konteksta raste in koraki ne motijo drug drugega. Ključ do rešitve problema s programom LLM je sposobnost razgradnje rešitve problema na zaporedje enostavnejših korakov. Ta pristop se razlikuje od prejšnjih del, kjer so za model uporabljali zunanja orodja, kot so kalkulatorji oz tolmači kod vzdrževati državo. Ta pristop je dober, ker je na ta način mogoče opisati zapleteno in razširjeno nalogo, kar olajša testiranje, odpravljanje napak in ocenjevanje kakovosti.
Poleg tega ni nobenih motenj med koraki, kar olajša delo z LLM. Tudi sistemi vprašanj in odgovorov niso novi; obstajali so že dolgo pred LLM-ji. Kako je zdaj rešena naloga odgovarjanja na vprašanja?
Spletna mesta se pogosto posodabljajo, zato a zamrznjen model ni možnost; hitro bo zastarel in ne bo mogel odgovoriti na vprašanja o novih izdelkih. Nenehno ponovno usposabljanje modela za vsako posodobitev ni realna možnost: je drago in dolgotrajno. Namesto tega so strani spletnega mesta običajno indeksirane, shranjene v nekakšni bazi podatkov in pogosto vektorirane. Na zahtevo uporabnika se ustrezni dokumenti izvlečejo in kot kontekst pošljejo LLM.
V takšni paradigmi se problem naravno rešuje s programom LLM. Kot bonus je postane mogoče za implementacijo bolj zapletene večprehodne logike, ki ne bi povsem ustrezala kontekstu.
Preizkušeno na Nabor podatkov StrategyQA ki vsebuje probleme binarne klasifikacije, katerih rešitev vključuje večsmerno sklepanje. Na primer "Ali sončna svetloba prodre v najgloblje mesto Črnega morja?". Če želite odgovoriti, morate najti največjo globino (2 km) in kako globoko svetloba prodre v vodo (1 km), nato pa narediti sklep. Oglejmo si še en primer vprašanja: "Ali je Aristotel uporabljal prenosni računalnik?" To vprašanje ni tako preprosto in ne sledi eksplicitno zaporedju sklepnih korakov kot "Ali je bil Aristotel živ, ko je bil izumljen prenosni računalnik?" počne. Nabor podatkov se osredotoča na vprašanja, kjer je takšno zaporedje implicitno. V naboru podatkov je samo 2,780 vprašanj, od katerih ima le 918 odstavke z dokazi, ki krepijo vse korake sklepanja. V trenutnem delu se omejuje na to podmnožico; sicer bi se morali zanašati na LLM, ki bi se med predusposabljanjem naučil nekaterih dejstev.
OPT-175B LLM privzeto ni zelo dober pri sledenju navodilom; ni mu bilo treba natančno prilagoditi navodil niti pogovornih podatkov. Za rešitev z dokazi podprtega problema odgovarjanja na vprašanja je razdeljen na stopnjo filtriranja podatkov in stopnjo drevesnega iskanja.
Na stopnji filtriranja, ko imajo vprašanje, razvijalci pregledajo vse odstavke in izberejo najbolj ustrezne. Na primer, z nekajkratnim pozivom prosite LLM, naj odgovori (da/ne), ali je dani odstavek pomemben za zastavljeno vprašanje. Preizkušeno na podmnožici StrategyQA 300, kjer je bilo vsako vprašanje usklajeno z odstavkom, ustreznim ali ne, 50/50. OPT-175B in text-davinci-002 nimata a veliko boljša kakovost kot naključno izhodišče: do 56 %. Bolj napredni 11B Tk-Instruct ni veliko boljši z 61.6 %.
Zaradi slabe kakovosti tega pristopa je bila sestavljena alternativa, ki upošteva povprečno negativno log-verjetnost (NLL) vprašanja v kombinaciji s prejšnjim odstavkom besedila in nato razvrsti rezultate. Ocenjeno na naboru podatkov, kjer je bilo za vsako vprašanje 100 odstavkov in le eden je bil ustrezen (tako da naključno ugibanje daje 1 %). Dobili smo top-1 natančnost pri 79 % in top 5 pri 93 %. Za ta izračun običajno potrebujete dostop do samega modela, kar ni vedno opravljeno v API-ju.
Sledi faza gradnje proizvodnih verig. To se naredi z iskanjem po drevesu, kjer je vprašanje koren, na vsaki ravni pa je veliko odstavkov z možnimi dokazi, ki se uporabljajo kot kontekst za ustvarjanje naslednjega koraka. Vsaka pot skozi drevo je potencialna izhodna veriga. Nerealno je sklepati o vseh možnih verigah, zato se vse razpoložljive verige rangirajo, najvišje rangirana veriga pa se razširi. To je taka različica iskanja žarka. Postopek se ustavi, ko je odgovor podan ali je pretečeno največje dovoljeno število korakov.
Najpomembnejši podrobnosti sta dve strategiji razvrščanja, preizkušeni za korak iskanja drevesa. Prva strategija temelji na povprečnem NLL celotne verige, medtem ko druga strategija obravnava povprečno razliko v NLL z in brez odstavka (P), z in brez vprašanja (Q). Pri razpoložljivih 918 vprašanjih StrategyQA ta pristop bistveno izboljša kakovost odgovora glede na izhodišče s CoT (60 %); obe možnosti iskanja dajeta okoli 66% (strategija z nekoliko višjo delto). Če so predložena zlata dejstva, postane kakovost okoli 81%, kar je zgornja meja za OPT. Zdi se, da gre Darklang tja nekam, vendar na nekoliko drugačen način.
Članek temelji na Telegramu objava.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
