Stability AIАвтора Stable Diffusion 2 Алгоритм наконец-то стал общедоступным: новая модель depth2img, апскейлер сверхвысокого разрешения, без контента для взрослых
Коротко
Stable Diffusion Модель 2.0 быстрее, с открытым исходным кодом, масштабируемая, более надежная, чем предыдущая.
Stable Diffusion получает поддержку графического процессора с новыми функциями для рендеринга в реальном времени
Глубина направляется stable diffusion модель - Изображение в изображение с новыми идеями для творческих приложений
Stability AI и выпустил новая статья в своем блоге о Stable Diffusion 2. В нем Stability AI предлагает новый алгоритм, более эффективный и надежный, чем предыдущий, и сравнивает его с другими современными методами.
Оригинал компании CompVis Stable Diffusion Модель V1 революция природа открытого исходного кода AI модели и произвел сотни различных моделей и усовершенствований по всему миру. Это был один из самых быстрых подъемов до 10,000 33,000 звезд Github, набрав XNUMX XNUMX менее чем за два месяца, быстрее, чем другие программы на Github.
Оригинальный Stable Diffusion Выпуском V1 руководила динамичная команда Робина Ромбаха (Robin Rombach).Stability AI) и Патрик Эссер (Runway ML) из CompVis Group в Мюнхенском медицинском университете под руководством профессора доктора Бьорна Оммера. Они основаны на предыдущей работе лаборатории с латентным Диффузионные модели и получил критическую поддержку от LAION и Eleuther AI.
То, что делает Stable Diffusion v1 отличается от Stable Diffusion v2?
Stable Diffusion 2.0 включает в себя ряд значительных улучшений и функций по сравнению с предыдущей версией, так что давайте взглянем на них.
Ассоциация Stable Diffusion В выпуске 2.0 представлены надежные модели преобразования текста в изображение, обученные с помощью нового текстового кодировщика (OpenCLIP), разработанного LAION при содействии Stability AI, что значительно повышает качество сгенерированные изображения по сравнению с предыдущими выпусками V1. Модели преобразования текста в изображение в этом выпуске могут выводить изображения с разрешением по умолчанию 512 × 512 пикселей и 768 × 768 пикселей.
Эти модели обучаются с использованием эстетического подмножества набора данных LAION-5B, созданного Stability AIкомандой DeepFloyd, которая затем фильтруется для исключения контента для взрослых с помощью фильтра LAION NSFW.
Оценки с использованием 50 шагов выборки DDIM, 50 направляющих шкал без классификатора и 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 и 8.0 указывают на относительные улучшения контрольных точек:
Stable Diffusion Версия 2.0 теперь включает модель Upscaler Diffusion, которая увеличивает разрешение изображения в четыре раза. Пример нашей модели апскейлинг Ниже показано сгенерированное изображение низкого качества (128×128) в изображение с более высоким разрешением (512×512). Stable Diffusion 2.0 в сочетании с нашими моделями преобразования текста в изображение теперь может генерировать изображения с разрешением 2048×2048 или выше.
Новый глубиноуправляемый stable diffusion модель, depth2img, расширяет предыдущую функцию преобразования изображения в изображение из версии 1 с совершенно новыми творческими возможностями. Depth2img определяет глубину входного изображения (используя существующую модель), а затем генерирует новое изображений на основе как текста, так и информации о глубине. Depth-to-Image может предоставить множество новых творческих приложений, предлагая изменения, которые кажутся значительно отличными от оригинала, сохраняя целостность и глубину изображения.
Что нового в Stable Diffusion 2?
- Новый stable diffusion модель предлагает разрешение 768x768.
- U-Net имеет то же количество параметров, что и версия 1.5, но обучается с нуля и использует OpenCLIP-ViT/H в качестве кодировщика текста. Так называемая модель v-предсказания — это SD 2.0-v.
- Вышеупомянутая модель была скорректирована на базе SD 2.0, которая также доступна, и была обучена как типичная модель прогнозирования шума на изображениях 512×512.
- Добавлена скрытая модель диффузии с текстовым управлением и масштабированием x4.
- Усовершенствованная база SD 2.0 с наведением по глубине stable diffusion модель. Модель может использоваться для сохраняющего структуру img2img и условного синтеза формы и обусловлена оценками монокулярной глубины, полученными с помощью MiDaS.
- Улучшенная модель рисования с текстовым управлением, построенная на основе SD 2.0.
Разработчики усердно работали, как и первая версия Stable Diffusion, чтобы оптимизировать модель для работы на одном графическом процессоре — они с самого начала хотели сделать ее доступной для как можно большего числа людей. Они уже видели, что происходит, когда миллионы людей получают в свои руки эти модели и совместно создают совершенно замечательные вещи. В этом сила открытого исходного кода: использование огромного потенциала миллионов талантливых людей, у которых может не быть ресурсов для обучения передовой модели, но есть возможность делать с ней невероятные вещи.
Это новое обновление в сочетании с новыми мощными функциями, такими как depth2img и улучшенными возможностями увеличения разрешения, послужит основой для множества новых приложений и обеспечит взрыв нового творческого потенциала.
Узнайте больше о Stable Diffusion:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
