Звіт про новини Технологія
Березня 15, 2023

Facebook розробляє новий метод подвоєння продуктивності ШІ-трансформерів

Коротко

Facebook розробив новий метод подвоєння продуктивності AI-трансформерів на основі трансформаторної архітектури.

Новий метод знаходить найбільш схожі патчі в проміжках між обробкою різних блоків і поєднує їх, щоб зменшити складність обчислень.

Facebook розробив a новий метод для подвоєння продуктивності трансформаторів ШІ. Метод є на основі трансформаторної архітектури і спеціально розроблений для тексту довгої форми, наприклад книг, статей і блогів. Метою нового трансформатора ШІ є підвищення продуктивності моделі на основі трансформатора на довгий текст, роблячи їх ефективнішими та ефективнішими при обробці довгих послідовностей. Результати трансформатора штучного інтелекту є багатообіцяючими, і цей новий метод має шанс допомогти покращити продуктивність моделей на основі трансформаторів для різноманітних завдань.

Очікується, що цей новий метод матиме значний вплив на завдання обробки природної мови, такі як мовний переклад, резюмування та системи відповідей на запитання. Також очікується, що це призведе до розробки більш складних моделей штучного інтелекту, які зможуть обробляти довші та складніші тексти.

Facebook розробив новий метод подвоєння продуктивності AI-трансформерів
Детальніше: 10+ найкращих фоторедакторів зі штучним інтелектом 2023: онлайн і безкоштовно

Щоб обробити зображення, сучасні трансформатори розрізають його на шматки (зазвичай квадрати: дивіться зображення нижче), а потім оперують представленнями цих частинок, кожна з яких представлена ​​«токеном». Трансформатори, як ми знаємо, працюють повільніше, чим більше цих символічних фрагментів (це стосується як текстів, так і зображень), і найпоширеніший трансформатор має квадратичне співвідношення. Тобто, чим більше токенів додається, тим повільніше стає обробка. Щоб вирішити цю проблему, дослідники запропонували різні методи зменшення кількості токенів, необхідних для обробки зображень, такі як ієрархічне та адаптивне об’єднання. Ці методи спрямовані на підтримку якості результату, мінімізуючи обчислювальні витрати.

Новий метод знаходить найбільш схожі патчі в проміжках між обробкою різних блоків і об’єднує їх, щоб зменшити складність обчислень. Частка об'єднаних токенів є гіперпараметром; чим він вищий, тим нижча якість, але й вище прискорення. Експерименти показують, що можна об'єднати приблизно 40% токенів із втратою якості 0.1-0.4% і отримати подвійне прискорення (при цьому споживаючи менше пам'яті). Цей новий метод є багатообіцяючим рішенням для зменшення обчислювальної складності обробки зображень і може забезпечити швидшу та ефективнішу обробку без шкоди для якості кінцевого результату.

Коли ми візуалізуємо, які патчі ми об’єднуємо, ми бачимо, що вони 1) розташовані поруч один з одним і 2) описують той самий об’єкт (дивіться області одного кольору на GIF). Тобто жодна значна інформація не втрачається; об'єкт залишається «в полі зору» моделі. Чим пізніше це буде застосовано в трансформаторі, тим більше токенів буде об’єднано (оскільки це представлення вищого рівня, які самі добре описують вміст зображення).

Такі інженерні підходи, засновані на винахідливості та розумінні того, як щось працює, виглядають дуже привабливо. Крім того, розробники Meta обіцяють додати більше до StableDiffusion, щоб прискорити роботу. Приголомшливо, оскільки трансформери всюди, такі трюки можна швидко застосувати в широкому діапазоні моделей. Це свідчить про потенціал інженерних рішень для широкого впливу на різні галузі. Буде цікаво подивитися, як ці досягнення в моделі трансформаторів продовжуватиме розвиватися та вдосконалюватися з часом.

  • Meta AI і Paperswithcode випустили першу модель 120B Galactica, навчену науковим текстам, що дозволяє точніше та швидше прогнозувати. Мета Galactica — допомогти дослідникам відокремити важливе від несуттєвого.

Читайте більше схожих новин:

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

інші статті
Дамір Ялалов
Дамір Ялалов

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Від Ripple до The Big Green DAO: як криптовалютні проекти сприяють благодійності

Давайте розглянемо ініціативи, які використовують потенціал цифрових валют для благодійних цілей.

Дізнайтеся більше

AlphaFold 3, Med-Gemini та інші: як AI трансформує охорону здоров’я у 2024 році

ШІ проявляється різними способами в охороні здоров’я, від виявлення нових генетичних кореляцій до розширення можливостей роботизованих хірургічних систем...

Дізнайтеся більше
Приєднуйтесь до нашої спільноти інноваційних технологій
Детальніше
Читати далі
Інноваційні ідеї: основні доповіді та панелі, які сформували майбутнє блокчейну на конференції Hack Seasons
Думка Business Стиль життя ринки Софтвер Технологія
Інноваційні ідеї: основні доповіді та панелі, які сформували майбутнє блокчейну на конференції Hack Seasons
Липень 12, 2024
Нестримне зростання DePIN: понад 650 проектів, що доводять стійкість на нестабільному ринку криптовалют
Думка Business ринки
Нестримне зростання DePIN: понад 650 проектів, що доводять стійкість на нестабільному ринку криптовалют
Липень 12, 2024
Mantle запускає AI Fest, заохочуючи учасників за виконання завдань від 1 мільйона MNT і фонду винагород проекту Ecosystem
Стиль життя Звіт про новини Технологія
Mantle запускає AI Fest, заохочуючи учасників за виконання завдань від 1 мільйона MNT і фонду винагород проекту Ecosystem
Липень 12, 2024
Віталік Бутерін про майбутнє Ethereum, масштабованість Crypto Community та інше
Думка ринки Софтвер Технологія
Віталік Бутерін про майбутнє Ethereum, масштабованість Crypto Community та інше
Липень 12, 2024
CRYPTOMERIA LABS PTE. LTD.