Facebook töötab välja uue meetodi AI-transformerite jõudluse kahekordistamiseks
Põgusalt
Facebook on välja töötanud uue meetodi AI-trafode jõudluse kahekordistamiseks, mis põhineb trafo arhitektuuril.
Uus meetod leiab erinevate plokkide töötlemise vahedest kõige sarnasemad laigud ja kombineerib need arvutusliku keerukuse vähendamiseks.
Facebook on välja töötanud a uus meetod AI-trafode jõudluse kahekordistamiseks. Meetod on põhineb trafo arhitektuuril ja on spetsiaalselt loodud pika teksti (nt raamatud, artiklid ja ajaveebid) jaoks. Uue AI-trafo eesmärk on parandada selle jõudlust trafopõhised mudelid pika tekstiga, muutes need pikkade jadade käsitlemisel tõhusamaks ja tõhusamaks. AI-trafo tulemused on väga paljutõotavad ja see uus meetod võib aidata parandada trafopõhiste mudelite jõudlust mitmesuguste ülesannete täitmisel.
Sellel uuel meetodil on eeldatavasti oluline mõju loomuliku keele töötlemise ülesannetele, nagu keele tõlkimine, kokkuvõtete tegemine ja küsimustele vastamise süsteemid. Samuti eeldatakse, et see toob kaasa keerukamate AI mudelite väljatöötamise, mis suudavad käsitleda pikemaid ja keerukamaid tekste.
Kujutise töötlemiseks lõikavad tänapäevased trafod selle laigudeks (tavaliselt ruutudeks: vt allpool olevat gifi) ja seejärel kasutavad neid osakesi, millest igaüks on tähistatud märgiga. Teatavasti töötavad transformaatorid seda aeglasemalt, mida rohkem neid märke on (see kehtib nii tekstide kui piltide kohta) ja kõige tavalisemal trafol on ruutsuhe. See tähendab, et mida rohkem märke lisatakse, seda aeglasemaks muutub töötlemine. Selle probleemi lahendamiseks on teadlased välja pakkunud erinevaid tehnikaid pilditöötluseks vajalike žetoonide arvu vähendamiseks, näiteks hierarhiline ja adaptiivne ühendamine. Nende meetodite eesmärk on säilitada väljundi kvaliteeti, minimeerides samal ajal arvutuskulusid.
Uus meetod leiab erinevate plokkide töötlemise vahedest kõige sarnasemad laigud ja kombineerib need arvutusliku keerukuse vähendamiseks. Ühendatud märkide osakaal on hüperparameeter; mida kõrgem see on, seda madalam on kvaliteet, aga ka kiirendus. Katsed näitavad, et on võimalik liita ligikaudu 40% žetoonidest 0.1-0.4% kvaliteedikaoga ja saada topeltkiirendus (kulutades seega vähem mälu). See uus meetod on paljutõotav lahendus pilditöötluse arvutusliku keerukuse vähendamiseks ning võimaldaks kiiremat ja tõhusamat töötlemist ilma lõppväljundi kvaliteeti kahjustamata.
Sellised leidlikkusel ja millegi toimimise mõistmisel põhinevad insenertehnilised lähenemisviisid näevad väga ahvatlevad välja. Samuti lubavad Meta arendajad StableDiffusioni rohkem tuua, et ka seal asju kiirendada. See on äge, et kuna trafosid on kõikjal, saab selliseid nippe kiiresti rakendada väga paljudes mudelites. See näitab insenerilahenduste potentsiaali avaldada laiaulatuslikku mõju erinevates tööstusharudes. Huvitav on näha, kuidas need edusammud toimuvad trafo mudelid areneb ja paraneb aja jooksul edasi.
- Meta AI ja Paperswithcode on välja andnud esimese 120B mudeli Galactica, mis on koolitatud teadustekstidel, võimaldades täpsemaid ja kiiremaid ennustusi. Galactica eesmärk on aidata teadlastel eraldada oluline ebaolulisest.
Loe rohkem seotud uudiseid:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
