Facebook razvija novo metodo za podvojitev zmogljivosti AI transformerjev
Na kratko
Facebook je razvil novo metodo za podvojitev zmogljivosti AI transformatorjev, ki temelji na transformatorski arhitekturi.
Nova metoda najde najbolj podobne zaplate v vrzeli med obdelavo različnih blokov in jih združi za zmanjšanje računske kompleksnosti.
Facebook je razvil a nova metoda za podvojitev zmogljivosti transformatorjev AI. Metoda je temelji na transformatorski arhitekturi in je posebej zasnovan za daljša besedila, kot so knjige, članki in blogi. Cilj novega transformatorja AI je izboljšati zmogljivost transformatorski modeli na besedilo dolge oblike, tako da postanejo učinkovitejši in uspešnejši pri obravnavanju dolgih zaporedij. Rezultati transformatorja z umetno inteligenco so zelo obetavni in ta nova metoda lahko pomaga izboljšati učinkovitost transformatorskih modelov pri različnih nalogah.
Pričakuje se, da bo ta nova metoda imela pomemben vpliv na naloge obdelave naravnega jezika, kot so jezikovno prevajanje, povzemanje in sistemi odgovorov na vprašanja. Pričakuje se tudi, da bo pripeljalo do razvoja bolj izpopolnjenih modelov umetne inteligence, ki lahko obravnavajo daljša in bolj zapletena besedila.
| Preberite več: 10+ najboljših urejevalnikov fotografij z umetno inteligenco 2023: na spletu in brezplačno |
Za obdelavo slike jo sodobni transformatorji razrežejo na zaplate (običajno kvadrate: glejte spodnji gif) in nato delujejo na predstavitvah teh delcev, od katerih je vsak predstavljen z »žetonom«. Transformatorji, kot vemo, delujejo počasneje, čim več je teh žetonov (to velja tako za besedila kot za slike), najpogostejši transformator pa ima kvadratni odnos. To pomeni, da ko je dodanih več žetonov, počasnejša postane obdelava. Da bi rešili to težavo, so raziskovalci predlagali različne tehnike za zmanjšanje števila žetonov, potrebnih za obdelavo slik, kot sta hierarhično in prilagodljivo združevanje. Cilj teh metod je ohraniti kakovost izhoda, hkrati pa zmanjšati računske stroške.
Nova metoda najde najbolj podobne zaplate v vrzeli med obdelavo različnih blokov in jih združi za zmanjšanje računske kompleksnosti. Delež združenih žetonov je hiperparameter; višje kot je, nižja je kakovost, a tudi večji je pospešek. Eksperimenti kažejo, da je mogoče združiti približno 40 % žetonov z izgubo kakovosti 0.1-0.4 % in doseči dvojno pospeševanje (s čimer porabimo manj pomnilnika). Ta nova metoda je obetavna rešitev za zmanjšanje računalniške kompleksnosti obdelave slik in bi lahko omogočila hitrejšo in učinkovitejšo obdelavo brez ogrožanja kakovosti končnega rezultata.
Takšni inženirski pristopi, ki temeljijo na iznajdljivosti in razumevanju, kako nekaj deluje, so videti zelo privlačni. Poleg tega Metini razvijalci obljubljajo, da bodo prinesli več v StableDiffusion, da bi pospešili stvari tudi tam. Čudovito je, ker so transformatorji povsod, takšne trike lahko hitro implementiramo v široko paleto modelov. To kaže potencial inženirskih rešitev za širok vpliv v različnih panogah. Zanimivo bo videti, kako bodo napredovali transformatorski modeli se bo sčasoma še naprej razvijal in izboljševal.
- Meta AI in Paperswithcode so izdali prvi model 120B Galactica, usposobljen za znanstvena besedila, kar omogoča natančnejše in hitrejše napovedi. Cilj Galactice je pomagati raziskovalcem ločiti pomembno od nepomembnega.
Preberite več povezanih novic:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
