Facebook izstrādā jaunu metodi mākslīgā intelekta transformatoru veiktspējas dubultošanai
Īsumā
Facebook ir izstrādājis jaunu metodi mākslīgā intelekta transformatoru veiktspējas dubultošanai, pamatojoties uz transformatora arhitektūru.
Jaunā metode atrod līdzīgākos ielāpus spraugās starp dažādu bloku apstrādi un apvieno tos, lai samazinātu skaitļošanas sarežģītību.
Facebook ir izstrādājis a jaunā metode AI transformatoru veiktspējas dubultošanai. Metode ir pamatojoties uz transformatora arhitektūru un ir īpaši izstrādāts gariem tekstiem, piemēram, grāmatām, rakstiem un emuāriem. Jaunā AI transformatora mērķis ir uzlabot veiktspēju uz transformatoriem balstīti modeļi uz garas formas tekstu, padarot tos efektīvākus un efektīvākus garu secību apstrādē. AI transformatora rezultāti ir ļoti daudzsološi, un šai jaunajai metodei ir iespēja palīdzēt uzlabot uz transformatoriem balstītu modeļu veiktspēju dažādos uzdevumos.
Paredzams, ka šī jaunā metode būtiski ietekmēs dabiskās valodas apstrādes uzdevumus, piemēram, valodas tulkošanu, apkopojumu un jautājumu atbilžu sistēmas. Paredzams, ka tas arī novedīs pie sarežģītāku AI modeļu izstrādes, kas spēj apstrādāt garākus un sarežģītākus tekstus.
Lai apstrādātu attēlu, mūsdienu transformatori to sagriež plāksteros (parasti kvadrātos: skatiet tālāk redzamo gif) un pēc tam izmanto šo daļiņu attēlojumu, no kuriem katrs ir attēlots ar “žetonu”. Transformatori, kā mēs zinām, darbojas lēnāk, jo vairāk ir šo marķieru gabalu (tas attiecas gan uz tekstiem, gan attēliem), un visizplatītākajam transformatoram ir kvadrātiskās attiecības. Tas ir, jo vairāk marķieru tiek pievienots, jo lēnāka kļūst apstrāde. Lai risinātu šo problēmu, pētnieki ir ierosinājuši dažādas metodes, lai samazinātu attēlu apstrādei nepieciešamo marķieru skaitu, piemēram, hierarhisku un adaptīvu apvienošanu. Šo metožu mērķis ir saglabāt produkcijas kvalitāti, vienlaikus samazinot skaitļošanas izmaksas.
Jaunā metode atrod līdzīgākos ielāpus spraugās starp dažādu bloku apstrādi un apvieno tos, lai samazinātu skaitļošanas sarežģītību. Apvienoto marķieru daļa ir hiperparametrs; jo augstāks tas ir, jo zemāka kvalitāte, bet arī lielāks paātrinājums. Eksperimenti liecina, ka ir iespējams apvienot aptuveni 40% žetonu ar kvalitātes zudumu 0.1-0.4% un iegūt dubultu paātrinājumu (tādējādi patērējot mazāk atmiņas). Šī jaunā metode ir daudzsološs risinājums, lai samazinātu attēlu apstrādes skaitļošanas sarežģītību, un tā varētu nodrošināt ātrāku un efektīvāku apstrādi, neapdraudot gala produkcijas kvalitāti.
Šādas inženierijas pieejas, kuru pamatā ir atjautība un izpratne par to, kā kaut kas darbojas, izskatās ļoti pievilcīgi. Arī Meta izstrādātāji sola vairāk ieviest StableDiffusion, lai arī tur paātrinātu. Tas ir lieliski, ka, tā kā transformatori ir visur, šādus trikus var ātri ieviest plašā modeļu klāstā. Tas parāda inženiertehnisko risinājumu potenciālu plašai ietekmei dažādās nozarēs. Būs interesanti redzēt, kā šie sasniegumi notiks transformatoru modeļi laika gaitā turpinās attīstīties un uzlaboties.
- Meta AI un Paperswithcode ir izlaiduši pirmo 120B modeli Galactica, kas apmācīts zinātniskos tekstos, ļaujot veikt precīzākas un ātrākas prognozes. Galactica mērķis ir palīdzēt pētniekiem nošķirt svarīgo no nebūtiskā.
Lasiet vairāk saistīto ziņu:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
