A Facebook új módszert fejleszt ki az AI Transformerek teljesítményének megduplázására
Röviden
A Facebook új módszert fejlesztett ki az AI transzformátorok teljesítményének megduplázására a transzformátor architektúrán alapulóan.
Az új módszer megtalálja a leginkább hasonló foltokat a különböző blokkok feldolgozása közötti hézagokban, és kombinálja azokat, hogy csökkentse a számítási bonyolultságot.
A Facebook kifejlesztette a Új módszer az AI transzformátorok teljesítményének megduplázására. A módszer az a transzformátor architektúra alapján és kifejezetten hosszú szövegekhez, például könyvekhez, cikkekhez és blogokhoz készült. Az új AI transzformátor célja a teljesítmény javítása transzformátor alapú modellek hosszú formátumú szövegeken azáltal, hogy hatékonyabbá és hatékonyabbá teszik a hosszú sorozatok kezelését. Az AI transzformátor eredményei nagyon ígéretesek, és ez az új módszer lehetőséget kínál arra, hogy javítsa a transzformátor alapú modellek teljesítményét számos feladaton.
Ez az új módszer várhatóan jelentős hatással lesz a természetes nyelvi feldolgozási feladatokra, mint például a nyelvi fordítási, összegzési és kérdésmegválaszoló rendszerekre. Várhatóan kifinomultabb AI-modellek kifejlesztéséhez is vezet, amelyek hosszabb és összetettebb szövegeket is képesek kezelni.
A kép feldolgozásához a modern transzformátorok foltokra vágják (általában négyzetekre: lásd az alábbi gif-et), majd ezeket a részecskéket ábrázolják, amelyek mindegyikét egy „token” ábrázolja. A transzformátorok, mint tudjuk, annál lassabban működnek, minél több ilyen jelződarab van (ez szövegekre és képekre egyaránt vonatkozik), és a leggyakoribb transzformátornak van másodfokú kapcsolata. Ez azt jelenti, hogy minél több token ad hozzá, annál lassabb lesz a feldolgozás. A probléma megoldására a kutatók különféle technikákat javasoltak a képfeldolgozáshoz szükséges tokenek számának csökkentésére, például hierarchikus és adaptív pooling-ot. Ezek a módszerek célja a kimenet minőségének megőrzése, miközben minimálisra csökkentik a számítási költségeket.
Az új módszer megtalálja a leginkább hasonló foltokat a különböző blokkok feldolgozása közötti hézagokban, és kombinálja őket a számítási bonyolultság csökkentése érdekében. Az egyesített tokenek aránya hiperparaméter; minél magasabb, annál gyengébb a minőség, de annál nagyobb a gyorsulás is. A kísérletek azt mutatják, hogy a tokenek hozzávetőleg 40%-a összevonható 0.1-0.4%-os minőségveszteséggel, és dupla gyorsulás érhető el (ezáltal kevesebb memória felhasználása). Ez az új módszer ígéretes megoldás a képfeldolgozás számítási bonyolultságának csökkentésére, és gyorsabb és hatékonyabb feldolgozást tesz lehetővé a végső kimenet minőségének veszélyeztetése nélkül.
Az ilyen mérnöki megközelítések, amelyek a találékonyságon és valami működésének megértésén alapulnak, nagyon vonzónak tűnnek. Emellett a Meta fejlesztői azt ígérik, hogy többet visznek a StableDiffusion-ba, hogy ott is felgyorsítsák a dolgokat. Döbbenetes, hogy mivel transzformátorok mindenhol megtalálhatók, az ilyen trükköket a modellek széles skálájában gyorsan meg lehet valósítani. Ez azt mutatja, hogy a mérnöki megoldások széles körű hatást gyakorolhatnak a különböző iparágakra. Érdekes lesz látni, hogy ezek a fejlesztések hogyan alakulnak transzformátor modellek idővel tovább fog fejlődni és javulni fog.
- Meta AI és Paperswithcode kiadták az első 120B modellt, a Galacticát, amely tudományos szövegekre oktatott, pontosabb és gyorsabb előrejelzéseket tesz lehetővé. A Galactica célja, hogy segítse a kutatókat elkülöníteni a fontosat a lényegtelentől.
Olvasson további kapcsolódó híreket:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
