Звіт про новини Технологія
Листопад 17, 2022

Nvidia анонсувала eDiff-I: новий генеративний штучний інтелект для синтезу тексту та зображень із миттєвою передачею стилів

Коротко

Nvidia запускає eDiff-I, щоб допомогти компаніям створювати високоякісні та привабливі зображення

Техніка eDiff-I регулярно забезпечує кращу якість синтезу, ніж DALL-E2 і Stable diffusion

eDiff-I — це новий інструмент для створення контенту штучного інтелекту, який забезпечує безпрецедентні можливості синтезу тексту в зображення для маркетологів і компаній, як нещодавно було оголошено Nvidia. За допомогою eDiff-I компанії можуть швидко та легко створювати високоякісні, привабливі візуальні матеріали без дорогого обладнання чи професійної допомоги. eDiff-I використовує обробку природної мови (NLP) для інтерпретації введених користувачем даних і створення відповідних зображень. Потім ШІ аналізує зображення та вибирає найбільш підходяще на основі контексту. Результатом є високоякісне зображення професійного вигляду, яке можна використовувати для різних цілей, наприклад для маркетингових матеріалів, публікацій у соціальних мережах, кампаній електронною поштою тощо.

eDiff-I – це a генеративний ШІ наступного покоління інструмент для створення вмісту, який забезпечує безпрецедентні можливості перетворення тексту в зображення синтез, швидка передача стилю та інтуїтивне малювання словами. Як дифузійна модель для створення візуальних зображень із тексту, eDiff-I пропонує навчити ансамбль експертних мереж шумозаглушення, кожна спеціалізована на певному шумовому інтервалі, у відповідь на емпіричне відкриття, що поведінка дифузійних моделей змінюється на різних фазах вибірки.

Nvidia анонсувала eDiff-I: новий генеративний штучний інтелект для синтезу тексту та зображень із миттєвою передачею стилів

Вбудовування тексту T5, вбудовування зображень CLIP і вбудовування тексту CLIP є основою для концепції eDiff-I. Ця методологія може створити фотореалістичну графіку у відповідь на будь-який текстовий запит.

Він надає дві додаткові можливості на додаток до синтезу тексту в зображення: (1) передача стилю, що дозволяє нам керувати стилем створеного зразка за допомогою еталонного зображення стилю, і (2) інструмент «Малювання словами» що дозволяє користувачам створювати зображення, малюючи карти сегментації на полотні.

Трубопровід
Трубопровід

Конвеєр складається з каскаду з трьох моделей дифузії: базової моделі, яка може створювати зразки з роздільною здатністю 64 × 64, і двох стеків із надвисокою роздільною здатністю, які можуть поступово підвищувати роздільну здатність зображень до роздільної здатності 256 × 256 і 1024 × 1024 відповідно. Моделі обчислюють T5 XXL і вбудовування тексту після отримання підпису як вхідних даних. Ці вбудовані зображення можна використовувати як вектор стилю. Потім додайте ці вбудовування в наш каскад дифузійні моделі, які поступово створюють зображення з роздільною здатністю 1024 x 1024.

Підхід eDiff-I постійно забезпечує кращу якість синтезу порівняно з алгоритмами перетворення тексту в зображення з відкритим кодом (Stable diffusion) і (DALL-E2).

результати
результати

Коли використовуються вбудовані зображення CLIP, підхід eDiff-I полегшує передачу стилю. eDiff-I спочатку витягує CLIP вбудовування зображень із зображення еталонного стилю, яке можна використовувати як еталонний вектор стилю. Стилістичне посилання можна побачити на малюнку ліворуч на панелі нижче. Результати, коли ввімкнено кондиціонування стилю, відображаються на центральній панелі. Результати, коли обумовлення стилю вимкнено, відображаються на панелі праворуч. Коли застосовано обумовлення стилю, модель eDiff-I створює результати, які також відповідають стилю вхідного підпису. Коли кондиціювання стилю вимкнено, знімки виглядають природно.

Передача стилю
Передача стилю

Вибираючи фрази та накреслюючи їх на зображенні, користувачі методу eDiff-I можуть змінювати розташування речей, які перераховані в текстовому запиті. Після цього модель використовує підказка та карти для створення зображень які сумісні з підписом і картою введення.

Читайте відповідні статті:

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

інші статті
Дамір Ялалов
Дамір Ялалов

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Від Ripple до The Big Green DAO: як криптовалютні проекти сприяють благодійності

Давайте розглянемо ініціативи, які використовують потенціал цифрових валют для благодійних цілей.

Дізнайтеся більше

AlphaFold 3, Med-Gemini та інші: як AI трансформує охорону здоров’я у 2024 році

ШІ проявляється різними способами в охороні здоров’я, від виявлення нових генетичних кореляцій до розширення можливостей роботизованих хірургічних систем...

Дізнайтеся більше
Приєднуйтесь до нашої спільноти інноваційних технологій
Детальніше
Читати далі
Lido запускає дострокове впровадження модуля спільного стейкингу для індивідуальних стейкерів перед його загальним випуском
Звіт про новини Технологія
Lido запускає дострокове впровадження модуля спільного стейкингу для індивідуальних стейкерів перед його загальним випуском
19 Червня, 2024.
Binance запускає HODLer Airdrops Для власників BNB, які розповсюджують токени з проектів, які незабаром будуть перераховані
ринки Звіт про новини Технологія
Binance запускає HODLer Airdrops Для власників BNB, які розповсюджують токени з проектів, які незабаром будуть перераховані
19 Червня, 2024.
Binance Labs підтримує Rango, щоб надати своїм користувачам розширений крос-ланцюжковий своп і мост
Business Звіт про новини Технологія
Binance Labs підтримує Rango, щоб надати своїм користувачам розширений крос-ланцюжковий своп і мост
19 Червня, 2024.
Дослідження в 10 разів: середня ціна 115 найпопулярніших криптовалют впала на 50% від максимуму 2024 року
ринки Звіт про новини Технологія
Дослідження в 10 разів: середня ціна 115 найпопулярніших криптовалют впала на 50% від максимуму 2024 року
19 Червня, 2024.
CRYPTOMERIA LABS PTE. LTD.