Stability AIS Stable Diffusion 2 algoritmas pagaliau viešas: naujas deep2img modelis, itin didelės raiškos padidinimas, jokio suaugusiesiems skirto turinio
Trumpai
Stable Diffusion 2.0 modelis yra greitesnis, atvirojo kodo, keičiamo dydžio, tvirtesnis nei ankstesnis
Stable Diffusion yra paruoštas GPU su naujomis funkcijomis, skirtomis atvaizdavimui realiuoju laiku
Vadovaujamasi gyliu stable diffusion modelis – Vaizdas į vaizdą su naujomis kūrybinių programų idėjomis
Stability AI turi išleido naujas straipsnis savo tinklaraštyje apie Stable Diffusion 2. Jame Stability AI siūlo naują algoritmą, kuris yra veiksmingesnis ir patikimesnis nei ankstesnis, tuo pačiu lygindamas jį su kitais moderniausiais metodais.
„CompVis“ originalas Stable Diffusion V1 modelis sukėlė revoliuciją atvirojo kodo prigimtis AI modeliai ir pagamino šimtus skirtingų modelių ir pažangių visame pasaulyje. Tai vienas greičiausių pakilimų iki 10,000 33,000 Github žvaigždžių ir per mažiau nei du mėnesius surinko XNUMX XNUMX žvaigždžių, greičiau nei naudojant daugiau Github programų.
Originalas Stable Diffusion V1 leidimui vadovavo dinamiška Robino Rombacho komanda (Stability AI) ir Patrickas Esseris (Runway ML) iš CompVis grupės LMU Miunchene, vadovaujamas prof. dr. Björno Ommero. Jie rėmėsi ankstesniu laboratorijos darbu su „Latent“. Difuzijos modeliai ir sulaukė kritinės paramos iš LAION ir Eleuther AI.
Kas daro Stable Diffusion v1 skiriasi nuo Stable Diffusion v2?
Stable Diffusion 2.0 apima daug reikšmingų patobulinimų ir funkcijų, palyginti su ankstesne versija, todėl pažvelkime į juos.
Šios Stable Diffusion 2.0 leidimas pasižymi tvirtais teksto į vaizdą modeliais, parengtais naudojant naują teksto kodavimo įrenginį (OpenCLIP), kurį sukūrė LAION padedant Stability AI, kuris žymiai pagerina kokybę generuojami vaizdai palyginti su ankstesniais V1 leidimais. Šio leidimo modeliai iš teksto į vaizdą gali išvesti vaizdus, kurių numatytoji skiriamoji geba yra 512 × 512 pikselių ir 768 × 768 pikselių.
Šie modeliai mokomi naudojant estetinį LAION-5B duomenų rinkinio pogrupį, kurį sugeneravo Stability AI„DeepFloyd“ komanda, kuri vėliau filtruojama, kad būtų pašalintas suaugusiesiems skirtas turinys, naudojant LAION NSFW filtrą.
Įvertinimai naudojant 50 DDIM pavyzdinių žingsnių, 50 orientacinių skalių be klasifikatorių ir 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 ir 8.0 rodo santykinius kontrolinių taškų patobulinimus:
Stable Diffusion 2.0 dabar apima Upscaler Diffusion modelį, kuris padidina vaizdo skiriamąją gebą keturis kartus. Mūsų modelio pavyzdys didinimas žemos kokybės sugeneruotas vaizdas (128×128) į didesnės raiškos vaizdą rodomas žemiau (512×512). Stable Diffusion 2.0, kartu su mūsų teksto į vaizdą modeliais, dabar gali generuoti 2048 × 2048 ar didesnės raiškos vaizdus.
Naujasis gylis valdomas stable diffusion modelis, deep2img, išplečia ankstesnę V1 funkciją „vaizdas į vaizdą“ su visiškai naujomis kūrybinėmis galimybėmis. Depth2img nustato įvesties vaizdo gylį (naudodamas esamą modelį) ir tada sugeneruoja naują vaizdai remiantis ir tekstu, ir gylio informacija. Gylis iki vaizdo gali suteikti daugybę naujų kūrybinių programų, siūlančių pakeitimus, kurie atrodo labai skiriasi nuo originalo, išlaikant vaizdo nuoseklumą ir gylį.
Kas naujo yra Stable Diffusion 2?
- Nauja stable diffusion modelis siūlo 768 × 768 skiriamąją gebą.
- „U-Net“ turi tiek pat parametrų, kiek ir 1.5 versijoje, tačiau jis yra apmokytas nuo nulio ir naudoja „OpenCLIP-ViT/H“ kaip teksto kodavimo įrenginį. Vadinamasis v-prognozavimo modelis yra SD 2.0-v.
- Pirmiau minėtas modelis buvo pakoreguotas iš SD 2.0 bazės, kuri taip pat yra prieinama ir buvo išmokyta kaip tipiškas triukšmo numatymo modelis 512 × 512 vaizdams.
- Pridėtas latentinis tekstu valdomas sklaidos modelis su x4 masteliu.
- Patobulintas SD 2.0 bazės gylis valdomas stable diffusion modelis. Modelis gali būti naudojamas struktūrai išsaugant img2img ir formos sąlyginei sintezei ir priklauso nuo monokulinio gylio įvertinimų, nustatytų MiDaS.
- Patobulintas tekstu valdomas piešimo modelis, sukurtas ant SD 2.0 pagrindo.
Kūrėjai sunkiai dirbo, kaip ir pradinė iteracija Stable Diffusion, norėdami optimizuoti modelį, kad jis veiktų su vienu GPU – jie nuo pat pradžių norėjo padaryti jį prieinamą kuo daugiau žmonių. Jie jau matė, kas nutinka, kai milijonai žmonių paima į rankas šiuos modelius ir bendradarbiauja kurdami absoliučiai nuostabius dalykus. Tai yra atvirojo kodo galia: išnaudoti didžiulį milijonų talentingų žmonių potencialą, kurie galbūt neturi išteklių parengti pažangiausią modelį, bet gali su juo nuveikti neįtikėtinų dalykų.
Šis naujas atnaujinimas kartu su galingomis naujomis funkcijomis, tokiomis kaip deep2img ir geresnės skiriamosios gebos padidinimo galimybėmis, bus daugelio naujų programų pagrindas ir leis išnaudoti naują kūrybinį potencialą.
Skaitykite daugiau apie Stable Diffusion:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
