Facebook razvija novu metodu za udvostručenje performansi AI transformatora
Ukratko
Facebook je razvio novu metodu za udvostručenje performansi AI transformatora na temelju transformatorske arhitekture.
Nova metoda pronalazi najsličnije zakrpe u prazninama između obrade različitih blokova i kombinira ih kako bi se smanjila računalna složenost.
Facebook je razvio a Nova metoda za udvostručenje performansi AI transformatora. Metoda je na temelju arhitekture transformatora i posebno je dizajniran za duge tekstove kao što su knjige, članci i blogovi. Cilj novog AI transformatora je poboljšati performanse transformatorski modeli na tekstu dugog oblika čineći ih učinkovitijima i učinkovitijima u rukovanju dugim nizovima. Rezultati AI transformatora su vrlo obećavajući, a ova nova metoda ima priliku pomoći poboljšati izvedbu modela temeljenih na transformatorima na raznim zadacima.
Očekuje se da će ova nova metoda imati značajan utjecaj na zadatke obrade prirodnog jezika, kao što su jezični prijevod, sažimanje i sustavi odgovora na pitanja. Također se očekuje da će dovesti do razvoja sofisticiranijih modela umjetne inteligencije koji se mogu nositi s duljim i složenijim tekstovima.
| Pročitajte više: 10+ najboljih AI uređivača fotografija 2023: online i besplatno |
Kako bi obradili sliku, moderni transformatori je režu na dijelove (obično kvadrate: pogledajte gif ispod) i zatim rade na prikazima tih čestica, od kojih je svaka predstavljena "žetonom". Transformatori, kao što znamo, rade sporije što je više ovih tokena (ovo se odnosi i na tekstove i na slike), a najčešći transformator ima kvadratni odnos. Odnosno, što se više tokena dodaje, obrada postaje sporija. Kako bi riješili ovaj problem, istraživači su predložili različite tehnike za smanjenje broja tokena potrebnih za obradu slike, kao što su hijerarhijsko i adaptivno udruživanje. Ove metode imaju za cilj održati kvalitetu izlaza uz smanjenje troškova računanja.
Nova metoda pronalazi najsličnije zakrpe u prazninama između obrade različitih blokova i kombinira ih kako bi se smanjila računalna složenost. Udio spojenih tokena je hiperparametar; što je veći, to je niža kvaliteta, ali i veće ubrzanje. Eksperimenti pokazuju da je moguće spojiti približno 40% tokena uz gubitak kvalitete od 0.1-0.4% i dobiti dvostruko ubrzanje (tako se troši manje memorije). Ova nova metoda obećavajuće je rješenje za smanjenje računalne složenosti obrade slike i mogla bi omogućiti bržu i učinkovitiju obradu bez ugrožavanja kvalitete konačnog rezultata.
Takvi inženjerski pristupi temeljeni na domišljatosti i razumijevanju kako nešto funkcionira izgledaju vrlo privlačno. Također, Meta-ini programeri obećavaju da će donijeti više u StableDiffusion kako bi i tamo ubrzali stvari. Sjajno je da se, budući da su transformatori posvuda, takvi trikovi mogu brzo implementirati u širok raspon modela. To pokazuje potencijal inženjerskih rješenja da imaju širok utjecaj u raznim industrijama. Bit će zanimljivo vidjeti kako će se taj napredak ostvariti modeli transformatora nastavit će se razvijati i poboljšavati tijekom vremena.
- Meta AI i Paperswithcode objavili su prvi 120B model Galactica obučen na znanstvenim tekstovima, omogućujući točnija i brža predviđanja. Cilj Galactice je pomoći istraživačima da odvoje važno od nebitnog.
Pročitajte još povezanih vijesti:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
