فیس بوک روش جدیدی برای دو برابر کردن عملکرد ترانسفورماتورهای هوش مصنوعی توسعه می دهد
به طور خلاصه
فیسبوک روش جدیدی را برای دو برابر کردن عملکرد ترانسفورماتورهای هوش مصنوعی بر اساس معماری ترانسفورماتور توسعه داده است.
روش جدید مشابه ترین وصله ها را در شکاف بین پردازش بلوک های مختلف پیدا می کند و آنها را برای کاهش پیچیدگی محاسباتی ترکیب می کند.
فیس بوک یک روش جدید برای دو برابر کردن عملکرد ترانسفورماتورهای هوش مصنوعی. روش این است بر اساس معماری ترانسفورماتور و به طور خاص برای متون طولانی مانند کتاب، مقاله و وبلاگ طراحی شده است. هدف از ترانسفورماتور جدید هوش مصنوعی بهبود عملکرد است مدل های مبتنی بر ترانسفورماتور بر روی متن های طولانی با کارآمدتر و موثرتر کردن آنها در مدیریت دنباله های طولانی. نتایج ترانسفورماتور هوش مصنوعی بسیار امیدوارکننده است و این روش جدید این شانس را دارد که به بهبود عملکرد مدل‌های مبتنی بر ترانسفورماتور در کارهای مختلف کمک کند.
انتظار می رود این روش جدید تأثیر قابل توجهی بر وظایف پردازش زبان طبیعی مانند ترجمه زبان، خلاصه سازی و سیستم های پاسخگویی به پرسش داشته باشد. همچنین انتظار می‌رود که منجر به توسعه مدل‌های پیشرفته‌تر هوش مصنوعی شود که می‌توانند متون طولانی‌تر و پیچیده‌تر را مدیریت کنند.
برای پردازش تصویر، ترانسفورماتورهای مدرن آن را به تکه‌هایی برش می‌دهند (معمولاً مربع‌ها: گیف زیر را ببینید) و سپس بر روی نمایش‌هایی از این ذرات عمل می‌کنند، که هر کدام با یک «توکن» نشان داده می‌شوند. همانطور که می دانیم، ترانسفورماتورها، هر چه تعداد این قطعات نشانه وجود داشته باشد، کندتر کار می کنند (این برای متون و تصاویر صدق می کند)، و رایج ترین ترانسفورماتور یک رابطه درجه دوم دارد. یعنی با اضافه شدن توکن های بیشتر، پردازش کندتر می شود. برای رفع این مشکل، محققان تکنیک‌های مختلفی را برای کاهش تعداد توکن‌های مورد نیاز برای پردازش تصویر پیشنهاد کرده‌اند، مانند ادغام سلسله مراتبی و تطبیقی. هدف این روش ها حفظ کیفیت خروجی در عین به حداقل رساندن هزینه محاسباتی است.
روش جدید مشابه ترین وصله ها را در شکاف بین پردازش بلوک های مختلف پیدا می کند و آنها را برای کاهش پیچیدگی محاسباتی ترکیب می کند. سهم توکن های ادغام شده یک فراپارامتر است. هرچه بالاتر باشد، کیفیت پایین‌تر و همچنین شتاب بالاتر است. آزمایش‌ها نشان می‌دهند که می‌توان تقریباً 40 درصد توکن‌ها را با افت کیفیت 0.1-0.4 درصد ادغام کرد و شتاب دو برابری گرفت (در نتیجه حافظه کمتری مصرف می‌شود). این روش جدید یک راه حل امیدوارکننده برای کاهش پیچیدگی محاسباتی پردازش تصویر است و می تواند امکان پردازش سریعتر و کارآمدتر را بدون به خطر انداختن کیفیت خروجی نهایی فراهم کند.
چنین رویکردهای مهندسی مبتنی بر نبوغ و درک نحوه عملکرد یک چیز بسیار جذاب به نظر می رسند. همچنین، توسعه‌دهندگان متا قول داده‌اند که موارد بیشتری را به StableDiffusion بیاورند تا در آنجا نیز سرعت بیشتری داشته باشند. بسیار عالی است که، چون ترانسفورماتورها همه جا هستند، چنین ترفندهایی را می توان به سرعت در طیف گسترده ای از مدل ها اجرا کرد. این نشان دهنده پتانسیل راه حل های مهندسی برای تأثیر گسترده در صنایع مختلف است. جالب خواهد بود که ببینیم این پیشرفت‌ها چگونه است مدل های ترانسفورماتور در طول زمان به تکامل و بهبود ادامه خواهد داد.
- Meta AI و Paperswithcode اولین مدل 120B Galactica را منتشر کرده اند که بر روی متون علمی آموزش دیده است و امکان پیش بینی دقیق تر و سریع تر را فراهم می کند. هدف Galactica این است که به محققان کمک کند تا چیزهای مهم را از موارد نامربوط جدا کنند.
ادامه خبر مرتبط را بخوانید:
سلب مسئولیت
در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.
درباره نویسنده
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
مقالات بیشتر
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
