Facebook розробляє новий метод подвоєння продуктивності ШІ-трансформерів
Коротко
Facebook розробив новий метод подвоєння продуктивності AI-трансформерів на основі трансформаторної архітектури.
Новий метод знаходить найбільш схожі патчі в проміжках між обробкою різних блоків і поєднує їх, щоб зменшити складність обчислень.
Facebook розробив a новий метод для подвоєння продуктивності трансформаторів ШІ. Метод є на основі трансформаторної архітектури і спеціально розроблений для тексту довгої форми, наприклад книг, статей і блогів. Метою нового трансформатора ШІ є підвищення продуктивності моделі на основі трансформатора на довгий текст, роблячи їх ефективнішими та ефективнішими при обробці довгих послідовностей. Результати трансформатора штучного інтелекту є багатообіцяючими, і цей новий метод має шанс допомогти покращити продуктивність моделей на основі трансформаторів для різноманітних завдань.
Очікується, що цей новий метод матиме значний вплив на завдання обробки природної мови, такі як мовний переклад, резюмування та системи відповідей на запитання. Також очікується, що це призведе до розробки більш складних моделей штучного інтелекту, які зможуть обробляти довші та складніші тексти.
Щоб обробити зображення, сучасні трансформатори розрізають його на шматки (зазвичай квадрати: дивіться зображення нижче), а потім оперують представленнями цих частинок, кожна з яких представлена «токеном». Трансформатори, як ми знаємо, працюють повільніше, чим більше цих символічних фрагментів (це стосується як текстів, так і зображень), і найпоширеніший трансформатор має квадратичне співвідношення. Тобто, чим більше токенів додається, тим повільніше стає обробка. Щоб вирішити цю проблему, дослідники запропонували різні методи зменшення кількості токенів, необхідних для обробки зображень, такі як ієрархічне та адаптивне об’єднання. Ці методи спрямовані на підтримку якості результату, мінімізуючи обчислювальні витрати.
Новий метод знаходить найбільш схожі патчі в проміжках між обробкою різних блоків і об’єднує їх, щоб зменшити складність обчислень. Частка об'єднаних токенів є гіперпараметром; чим він вищий, тим нижча якість, але й вище прискорення. Експерименти показують, що можна об'єднати приблизно 40% токенів із втратою якості 0.1-0.4% і отримати подвійне прискорення (при цьому споживаючи менше пам'яті). Цей новий метод є багатообіцяючим рішенням для зменшення обчислювальної складності обробки зображень і може забезпечити швидшу та ефективнішу обробку без шкоди для якості кінцевого результату.
Такі інженерні підходи, засновані на винахідливості та розумінні того, як щось працює, виглядають дуже привабливо. Крім того, розробники Meta обіцяють додати більше до StableDiffusion, щоб прискорити роботу. Приголомшливо, оскільки трансформери всюди, такі трюки можна швидко застосувати в широкому діапазоні моделей. Це свідчить про потенціал інженерних рішень для широкого впливу на різні галузі. Буде цікаво подивитися, як ці досягнення в моделі трансформаторів продовжуватиме розвиватися та вдосконалюватися з часом.
- Meta AI і Paperswithcode випустили першу модель 120B Galactica, навчену науковим текстам, що дозволяє точніше та швидше прогнозувати. Мета Galactica — допомогти дослідникам відокремити важливе від несуттєвого.
Читайте більше схожих новин:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
