Stability AIЕ Stable Diffusion 2 Алгоритъмът най-накрая е публичен: нов модел deep2img, устройство за увеличаване на супер разделителната способност, без съдържание за възрастни
Накратко
Stable Diffusion 2.0 модел е по-бърз, с отворен код, мащабируем, по-стабилен от предишния
Stable Diffusion става готов за GPU с нови функции за изобразяване в реално време
Насочване в дълбочина stable diffusion модел – Изображение към изображение с нови идеи за творчески приложения
Stability AI има освободен нов документ в своя блог за Stable Diffusion 2. В него, Stability AI предлага нов алгоритъм, който е по-ефективен и стабилен от предишния, като същевременно го сравнява с други най-съвременни методи.
Оригинал на CompVis Stable Diffusion V1 модел революционизира природата на отворения код AI модели и произвежда стотици различни модели и подобрения по целия свят. Той отбеляза едно от най-бързите изкачвания до 10,000 33,000 звезди в Github, натрупвайки XNUMX XNUMX за по-малко от два месеца, по-бързо от повече програми в Github.
Оригиналът Stable Diffusion Издаването на V1 беше ръководено от динамичния екип на Робин Ромбах (Stability AI) и Патрик Есер (Runway ML) от CompVis Group в LMU Мюнхен, ръководен от проф. д-р Бьорн Омер. Те се основават на предишната работа на лабораторията с Latent Дифузионни модели и получи критична подкрепа от LAION и Eleuther AI.
Това, което прави Stable Diffusion v1 различен от Stable Diffusion v2?
Stable Diffusion 2.0 включва редица значителни подобрения и функции спрямо предишната версия, така че нека да ги разгледаме.
- Stable Diffusion Версията 2.0 включва стабилни модели текст към изображение, обучени с нов нов текстов енкодер (OpenCLIP), разработен от LAION с помощта на Stability AI, което значително повишава качеството на генерирани изображения спрямо предишни версии V1. Моделите текст към изображение на тази версия могат да извеждат изображения с разделителна способност по подразбиране от 512×512 пиксела и 768×768 пиксела.
Тези модели се обучават с помощта на естетическа подгрупа от набора от данни LAION-5B, генериран от Stability AIЕкипът на DeepFloyd, който след това се филтрира, за да изключи съдържание за възрастни с помощта на NSFW филтъра на LAION.
Оценките, използващи 50 примерни стъпки на DDIM, 50 насочващи скали без класификатор и 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 и 8.0 показват относителни подобрения на контролните точки:
Stable Diffusion 2.0 вече включва модел Upscaler Diffusion, който увеличава разделителната способност на изображението с фактор четири. Пример за нашия модел мащабиране нискокачествено генерирано изображение (128×128) в изображение с по-висока разделителна способност е показано по-долу (512×512). Stable Diffusion 2.0, когато се комбинира с нашите модели текст към изображение, вече може да генерира изображения с разделителна способност 2048×2048 или по-висока.
Новият воден в дълбочина stable diffusion модел, deep2img, разширява предишната функция от изображение към изображение от V1 с изцяло нови творчески възможности. Depth2img определя дълбочината на входно изображение (използвайки съществуващ модел) и след това генерира ново изображения въз основа както на текста, така и на информацията за дълбочина. Depth-to-Image може да осигури изобилие от нови творчески приложения, предлагащи промени, които изглеждат значително различни от оригинала, като същевременно запазва кохерентността и дълбочината на изображението.
Какво е новото в Stable Diffusion 2?
- Новото stable diffusion модел предлага разделителна способност 768×768.
- U-Net има същото количество параметри като версия 1.5, но е обучен от нулата и използва OpenCLIP-ViT/H като свой текстов енкодер. Така нареченият v-предсказателен модел е SD 2.0-v.
- Гореспоменатият модел беше коригиран от SD 2.0-база, която също е налична и беше обучен като типичен модел за предсказване на шум върху 512 × 512 изображения.
- Добавен е латентен модел на дифузия, ръководен от текст, с мащабиране x4.
- Усъвършенствана SD 2.0-база с насочване в дълбочина stable diffusion модел. Моделът може да се използва за запазване на структурата img2img и условен синтез на формата и се обуславя от оценки на монокулярната дълбочина, изведени от MiDaS.
- Подобрен модел за рисуване, управляван от текст, изграден върху основата на SD 2.0.
Разработчиците работиха усилено, точно както при първоначалната итерация на Stable Diffusion, за да оптимизират модела да работи на един графичен процесор - те искаха да го направят достъпен за възможно най-много хора от самото начало. Те вече са видели какво се случва, когато милиони хора се сдобият с тези модели и си сътрудничат, за да създадат абсолютно забележителни неща. Това е силата на отворения код: оползотворяване на огромния потенциал на милиони талантливи хора, които може да нямат ресурсите да обучат авангарден модел, но имат способността да правят невероятни неща с един.
Тази нова актуализация, съчетана с мощни нови функции като deep2img и по-добри възможности за увеличаване на резолюцията, ще послужи като основа за множество нови приложения и ще даде възможност за експлозия от нов творчески потенциал.
Прочетете повече за Stable Diffusion:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
