Stability AI'S Stable Diffusion 2 Az algoritmus végre nyilvános: új deep2img modell, szuperfelbontású skálázás, nincs felnőtt tartalom
Röviden
Stable Diffusion A 2.0 modell gyorsabb, nyílt forráskódú, méretezhető, robusztusabb, mint az előző
Stable Diffusion GPU-kompatibilis új funkciókkal a valós idejű megjelenítéshez
Mélységben irányított stable diffusion modell – Képről képre új ötletekkel kreatív alkalmazásokhoz
Stability AI több mint felszabaduló egy új cikk a blogján arról Stable Diffusion 2. Ebben, Stability AI új algoritmust javasol, amely hatékonyabb és robusztusabb, mint az előző, miközben összehasonlítja azt más korszerű módszerekkel.
A CompVis eredetije Stable Diffusion V1 modell forradalmasította a nyílt forráskód természete AI modellek és több száz különböző modellt és fejlesztést gyártottak szerte a világon. Ez volt az egyik leggyorsabb felemelkedés 10,000 33,000 Github-sztárig, kevesebb mint két hónap alatt XNUMX XNUMX-et gyűjtött össze, gyorsabban, mint a Github több programja.
Az eredeti Stable Diffusion A V1 kiadást Robin Rombach dinamikus csapata vezette (Stability AI) és Patrick Esser (Runway ML) az LMU München CompVis csoportjától, Prof. Dr. Björn Ommer vezetésével. A labor Latenttel végzett korábbi munkájára építettek Diffúziós modellek és kritikus támogatást kapott a LAION és az Eleuther AI-tól.
Mitől Stable Diffusion v1 különbözik a Stable Diffusion v2?
Stable Diffusion A 2.0 számos jelentős fejlesztést és funkciót tartalmaz az előző verzióhoz képest, ezért vessünk egy pillantást ezekre.
A Stable Diffusion A 2.0 kiadás robusztus szöveg-kép modelleket tartalmaz, amelyek egy új, új szövegkódolóval (OpenCLIP) vannak kiképezve, amelyet a LAION fejlesztett ki Stability AI, ami jelentősen javítja a minőségét a generált képeket a korábbi V1-es kiadásokhoz képest. Ennek a kiadásnak a szöveg-képmodelljei 512 × 512 pixel és 768 × 768 pixel alapértelmezett felbontással képesek megjeleníteni a képeket.
Ezeket a modelleket a LAION-5B adatkészlet egy esztétikai részhalmazával képezték ki Stability AIa DeepFloyd csapata, amely ezután a LAION NSFW szűrőjének segítségével kiszűri a felnőtteknek szánt tartalmat.
Az 50 DDIM mintalépést, 50 osztályozó nélküli vezérlőskálát és 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 és 8.0 értékeket használó kiértékelések az ellenőrzőpontok relatív javulását jelzik:
Stable Diffusion A 2.0 immár egy Upscaler Diffusion modellt is tartalmaz, amely négyszeresére növeli a képfelbontást. Példa a modellünkre upscaling egy rossz minőségű generált kép (128×128) nagyobb felbontású képpé látható alább (512×512). Stable Diffusion A 2.0-s szöveg-képmodelljeinkkel kombinálva immár 2048 × 2048-as vagy nagyobb felbontású képeket tud előállítani.
Az új mélységvezérelt stable diffusion modell, deep2img, teljesen új kreatív lehetőségekkel bővíti ki a V1 korábbi kép-kép funkcióját. A Depth2img meghatározza a bemeneti kép mélységét (egy meglévő modell használatával), majd újat generál képek mind a szöveg, mind a mélységi információk alapján. A Depth-to-Image új kreatív alkalmazások tömkelegét kínálja, olyan változtatásokat kínálva, amelyek jelentősen eltérnek az eredetitől, miközben megőrzik a kép koherenciáját és mélységét.
Mi az új Stable Diffusion 2?
- Az új stable diffusion modell 768×768 felbontást kínál.
- Az U-Netnek ugyanannyi paramétere van, mint az 1.5-ös verziónak, de a semmiből kiképzett, és az OpenCLIP-ViT/H-t használja szövegkódolóként. Az úgynevezett v-predikciós modell az SD 2.0-v.
- A fent említett modellt az SD 2.0-s bázisról igazították, amely szintén elérhető, és tipikus zaj-előrejelző modellként lett kiképezve 512×512-es képekre.
- Egy látens szövegvezérelt diffúziós modell lett hozzáadva x4-es skálázással.
- Finomított SD 2.0-alap mélységvezérelt stable diffusion modell. A modell szerkezetmegőrző img2img és alakfeltételes szintézisre használható, és a MiDaS által levezetett monokuláris mélységbecsléseken alapul.
- Továbbfejlesztett szövegvezérelt festési modell, amely az SD 2.0 alapra épül.
A fejlesztők keményen dolgoztak, akárcsak a kezdeti iteráció Stable Diffusion, hogy a modellt egyetlen GPU-n fusson optimalizálni – a kezdetektől fogva a lehető legtöbb ember számára akarták elérhetővé tenni. Ők már látták, mi történik, ha emberek milliói veszik kezükbe ezeket a modelleket, és együttműködnek, hogy egészen figyelemre méltó dolgokat építsenek. Ez a nyílt forráskód ereje: olyan tehetséges emberek millióiban rejlő hatalmas potenciál kiaknázása, akik esetleg nem rendelkeznek erőforrásokkal egy élvonalbeli modell kiképzésére, de képesek hihetetlen dolgokat művelni vele.
Ez az új frissítés olyan erőteljes új funkciókkal kombinálva, mint a deep2img és a jobb felbontású felskálázási képességek, rengeteg új alkalmazás alapjaként szolgál majd, és lehetővé teszi az új kreatív potenciál kibontakozását.
További információ Stable Diffusion:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
