Facebook süni intellekt transformatorlarının performansını ikiqat artırmaq üçün yeni üsul hazırlayır
Qısaca
Facebook transformator arxitekturası əsasında süni intellekt transformatorlarının məhsuldarlığını ikiqat artırmaq üçün yeni üsul hazırlayıb.
Yeni üsul müxtəlif blokların işlənməsi arasındakı boşluqlarda ən oxşar yamaqları tapır və hesablama mürəkkəbliyini azaltmaq üçün onları birləşdirir.
Facebook inkişaf etdirdi yeni üsul AI transformatorlarının məhsuldarlığını ikiqat artırmaq üçün. Metoddur transformator arxitekturasına əsaslanır və xüsusi olaraq kitablar, məqalələr və bloglar kimi uzun formalı mətnlər üçün nəzərdə tutulmuşdur. Yeni AI transformatorunun məqsədi performansını artırmaqdır transformator əsaslı modellər uzun ardıcıllıqların idarə edilməsində onları daha səmərəli və effektiv etməklə uzun formalı mətndə. Süni intellekt transformatorunun nəticələri çox ümidvericidir və bu yeni metodun müxtəlif tapşırıqlar üzrə transformator əsaslı modellərin işini yaxşılaşdırmağa kömək etmək şansı var.
Bu yeni metodun dil tərcüməsi, ümumiləşdirmə və sual-cavab sistemləri kimi təbii dilin işlənməsi tapşırıqlarına əhəmiyyətli təsir göstərəcəyi gözlənilir. Bundan əlavə, daha uzun və daha mürəkkəb mətnləri idarə edə bilən daha mürəkkəb AI modellərinin inkişafına səbəb olacağı gözlənilir.
| Daha ətraflı: 10+ Ən yaxşı AI Foto Redaktorları 2023: Onlayn və Pulsuz |
Təsviri emal etmək üçün müasir transformatorlar onu yamaqlara (adətən kvadratlar: aşağıdakı gif-ə baxın) kəsir və sonra hər biri “token” ilə təmsil olunan bu hissəciklərin təsvirləri üzərində işləyirlər. Transformatorlar, bildiyimiz kimi, bu işarə parçaları nə qədər çox olarsa, daha yavaş işləyir (bu həm mətnlərə, həm də şəkillərə aiddir) və ən çox yayılmış transformator kvadratik əlaqəyə malikdir. Yəni, daha çox token əlavə olunduqca, emal daha yavaş olur. Bu problemi həll etmək üçün tədqiqatçılar ierarxik və adaptiv hovuz kimi təsvirin işlənməsi üçün tələb olunan tokenlərin sayını azaltmaq üçün müxtəlif üsullar təklif ediblər. Bu üsullar hesablama xərclərini minimuma endirməklə yanaşı, məhsulun keyfiyyətini qorumaq məqsədi daşıyır.
Yeni üsul müxtəlif blokların işlənməsi arasındakı boşluqlarda ən oxşar yamaqları tapır və hesablama mürəkkəbliyini azaltmaq üçün onları birləşdirir. Birləşdirilmiş tokenlərin payı hiperparametrdir; nə qədər yüksək olarsa, keyfiyyət bir o qədər aşağı olar, həm də sürətlənmə bir o qədər yüksək olar. Təcrübələr göstərir ki, 40-0.1% keyfiyyət itkisi ilə tokenlərin təxminən 0.4% -ni birləşdirmək və ikiqat sürətlənmə əldə etmək mümkündür (beləliklə, daha az yaddaş sərf olunur). Bu yeni üsul təsvirin emalının hesablama mürəkkəbliyini azaltmaq üçün perspektivli həll yoludur və yekun nəticənin keyfiyyətinə xələl gətirmədən daha sürətli və daha səmərəli emal etməyə imkan verə bilər.
İxtiraya və bir şeyin necə işlədiyini başa düşməyə əsaslanan bu cür mühəndislik yanaşmaları çox cəlbedici görünür. Həmçinin, Meta-nın tərtibatçıları orada da işləri sürətləndirmək üçün StableDiffusion-a daha çox şey gətirəcəklərini vəd edirlər. Möhtəşəmdir ki, transformatorlar hər yerdə olduğundan, bu cür hiylələr tez bir zamanda geniş modellərdə həyata keçirilə bilər. Bu, mühəndislik həllərinin müxtəlif sənaye sahələrinə geniş təsir göstərməsi potensialını göstərir. Bu irəliləyişlərin necə olacağını görmək maraqlı olacaq transformator modelləri zaman keçdikcə inkişaf etməyə və təkmilləşməyə davam edəcəkdir.
- Meta AI və Paperswithcode daha dəqiq və daha sürətli proqnozlar verməyə imkan verən elmi mətnlər üzərində öyrədilmiş ilk 120B Galactica modelini buraxdılar. Galactica-nın məqsədi tədqiqatçılara vacib olanı əhəmiyyətsizdən ayırmağa kömək etməkdir.
Daha çox əlaqəli xəbərləri oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
