Звіт про новини Технологія
19 Червня, 2023.

SnapFusion: швидка модель перетворення тексту в зображення для мобільних пристроїв за 1.9 секунди

Коротко

SnapFusion змінює створення вмісту шляхом запуску моделі дифузії тексту в зображення безпосередньо на мобільних пристроях, зменшуючи витрати та вирішуючи проблеми конфіденційності.

SnapFusion це модель штучного інтелекту з текстом у зображення, яка дозволяє користувачам створювати приголомшливі зображення з описів природною мовою всього за дві секунди на своїх мобільних пристроях. Пройшли часи, коли для роботи цих складних моделей використовувалися високоякісні графічні процесори або хмарні служби. SnapFusion демократизує створення контенту, передаючи можливість перетворення тексту в зображення в руках користувачів.

SnapFusion: швидка та ефективна модель перетворення тексту в зображення для мобільних пристроїв за 1.9 секунди
Кредит: Midjourney / lili10292#2100

Створення реалістичних зображень із текстових описів завжди було складним завданням. Попередні моделі потрібні великі мережеві архітектури і кілька ітерацій усунення шуму, роблячи їх обчислювально дорогий і повільний. Крім того, запуск цих моделей часто передбачав надсилання даних користувача до сторонніх служб, підвищення конфіденційність.

Щоб вирішити ці проблеми, творці SnapFusion розробили ефективну мережеву архітектуру та вдосконалили процес поетапної дистиляції. Визначивши надмірності в оригінальній моделі, вони представили ефективну UNet і зменшили обчислення декодера зображення через дистиляція даних. Крім того, вони вдосконалили поетапну дистиляцію, досліджуючи стратегії навчання та запроваджуючи методи регулярізації.

arxiv.org/pdf/2306.00980.pdf

Великі експерименти на Набір даних MS-COCO продемонстрував перевагу SnapFusion. Лише за вісім кроків усунення шумів SnapFusion досяг кращих показників FID та CLIP порівняно з попередньою версією. найсучасніша модель, Stable Diffusion v1.5, який вимагав 50 кроків. Це значне підвищення ефективності та продуктивності відкриває нові можливості для створення вмісту.

Вплив SnapFusion виходить за рамки його технічних досягнень. Бігом моделі дифузії тексту в зображення безпосередньо на мобільних пристроях, це усуває потребу в дорогих графічних процесорах і хмарних службах. Це не тільки зменшує витрати, але й усуває проблеми конфіденційності, пов’язані з надсиланням даних користувача третім особам. Тепер користувачі можуть розкрити свій творчий потенціал і створювати високоякісні зображення на ходу.

Розмір параметрів моделі можна додатково зменшити, щоб зробити її сумісною з різними периферійними пристроями. Крім того, оптимізація моделі для різних мобільних пристроїв досягти швидкого висновку швидкість є постійною темою дослідження.

Важливо відповідально використовувати SnapFusion та подібні технології, щоб запобігти шкідливим програмам. Можна вжити заходів, наприклад системи автоматичного виявлення, які ідентифікують і позначають вміст зображень, який порушує правила. Дотримуючись балансу між інноваціями та етичними міркуваннями, SnapFusion може змінити процес створення контенту, забезпечуючи безпечний і відповідальний досвід користувача.

Докладніше про ШІ:

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

інші статті
Дамір Ялалов
Дамір Ялалов

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Від Ripple до The Big Green DAO: як криптовалютні проекти сприяють благодійності

Давайте розглянемо ініціативи, які використовують потенціал цифрових валют для благодійних цілей.

Дізнайтеся більше

AlphaFold 3, Med-Gemini та інші: як AI трансформує охорону здоров’я у 2024 році

ШІ проявляється різними способами в охороні здоров’я, від виявлення нових генетичних кореляцій до розширення можливостей роботизованих хірургічних систем...

Дізнайтеся більше
Приєднуйтесь до нашої спільноти інноваційних технологій
Детальніше
Читати далі
Pyth Network розгортає Pull Oracle на Solana, надаючи розробникам доступ до цін Oracle
Звіт про новини Технологія
Pyth Network розгортає Pull Oracle на Solana, надаючи розробникам доступ до цін Oracle
17 Червня, 2024.
ШІ та ігрові партнери Aethir Airdrop Токени власникам вузла перевірки
Featured Звіт про новини Технологія
ШІ та ігрові партнери Aethir Airdrop Токени власникам вузла перевірки
17 Червня, 2024.
Notional Finance повністю припинить підтримку V2 до кінця липня, закликає користувачів перейти на V3
Звіт про новини Технологія
Notional Finance повністю припинить підтримку V2 до кінця липня, закликає користувачів перейти на V3
17 Червня, 2024.
Tether запускає платформу Alloy за підтримки Tether Gold і представляє перший токен aUSD₮
ринки Звіт про новини Технологія
Tether запускає платформу Alloy за підтримки Tether Gold і представляє перший токен aUSD₮
17 Червня, 2024.
CRYPTOMERIA LABS PTE. LTD.