Stability AI'S Stable Diffusion 2 Algoritmi on vihdoin julkinen: uusi deep2img-malli, superresoluutioinen skaalaus, ei aikuisille suunnattua sisältöä
Lyhyesti
Stable Diffusion 2.0-malli on nopeampi, avoimen lähdekoodin, skaalautuva ja kestävämpi kuin edellinen
Stable Diffusion saa GPU-valmiuden uusilla ominaisuuksilla reaaliaikaista renderöintiä varten
Syvyysohjattu stable diffusion malli – Kuvasta kuvaksi uusia ideoita luoviin sovelluksiin
Stability AI on julkaistu blogissaan uusi artikkeli aiheesta Stable Diffusion 2. Siinä Stability AI ehdottaa uutta algoritmia, joka on tehokkaampi ja vankempi kuin edellinen, samalla kun se vertaa sitä muihin huipputekniikan menetelmiin.
CompVisin alkuperäinen Stable Diffusion V1-malli mullistanut avoimen lähdekoodin luonne AI-mallit ja tuottanut satoja erilaisia malleja ja edistysaskeleita ympäri maailmaa. Se näki yhden nopeimmista nousuista 10,000 33,000 Github-tähden joukkoon ja keräsi XNUMX XNUMX alle kahdessa kuukaudessa, nopeammin kuin useat Githubin ohjelmat.
Alkuperäinen Stable Diffusion V1-julkaisua johti Robin Rombachin dynaaminen tiimi (Stability AI) ja Patrick Esser (Runway ML) CompVis Groupista LMU Münchenissä, johtajana prof. tohtori Björn Ommer. He rakensivat laboratorion aiemman Latentin kanssa tekemän työn pohjalta Diffuusiomallit ja sai kriittistä tukea LAIONilta ja Eleuther AI:lta.
Mikä tekee Stable Diffusion v1 eroaa Stable Diffusion v2?
Stable Diffusion 2.0 sisältää useita merkittäviä parannuksia ja ominaisuuksia edelliseen versioon verrattuna, joten katsotaanpa niitä.
- Stable Diffusion 2.0-julkaisu sisältää vankat tekstistä kuvaksi -mallit, jotka on koulutettu uudella tekstienkooderilla (OpenCLIP), jonka on kehittänyt LAION avustuksella Stability AI, mikä parantaa merkittävästi tuotteen laatua luotuja kuvia edellisiin V1-julkaisuihin verrattuna. Tämän julkaisun tekstistä kuvaksi -mallit voivat tulostaa kuvia oletusresoluutioilla 512 × 512 pikseliä ja 768 × 768 pikseliä.
Nämä mallit on koulutettu käyttämällä LAION-5B-tietojoukon esteettistä osajoukkoa, jonka on luonut Stability AIDeepFloyd-tiimi, joka sitten suodatetaan pois aikuisviihdesisällöstä LAIONin NSFW-suodattimen avulla.
Arvioinnit, joissa on käytetty 50 DDIM-näyteaskelta, 50 luokittelematonta ohjausasteikkoa ja 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 ja 8.0, osoittavat tarkastuspisteiden suhteellisia parannuksia:
Stable Diffusion 2.0 sisältää nyt Upscaler Diffusion -mallin, joka lisää kuvan resoluutiota nelinkertaiseksi. Esimerkki mallistamme skaalaus huonolaatuinen luotu kuva (128×128) korkeamman resoluution kuvaksi näkyy alla (512×512). Stable Diffusion 2.0 yhdistettynä tekstistä kuvaksi -malleihimme voi nyt luoda kuvia, joiden resoluutio on 2048 × 2048 tai suurempi.
Uusi syvyysohjattu stable diffusion malli, deep2img, laajentaa V1:n aikaisempaa kuvasta kuvaksi -ominaisuutta täysin uusilla luovilla mahdollisuuksilla. Depth2img määrittää syöttökuvan syvyyden (käyttämällä olemassa olevaa mallia) ja luo sitten uuden kuvien sekä tekstin että syvyystietojen perusteella. Syvyys kuvaan voi tarjota joukon uusia luovia sovelluksia, jotka tarjoavat muutoksia, jotka näyttävät merkittävästi erilaisilta alkuperäisestä säilyttäen samalla kuvan yhtenäisyyden ja syvyyden.
Mitä uutta on Stable Diffusion 2?
- Uusi stable diffusion malli tarjoaa 768×768 resoluution.
- U-Netissä on sama määrä parametreja kuin versiossa 1.5, mutta se on opetettu tyhjästä ja käyttää OpenCLIP-ViT/H:ta tekstienkooderina. Ns. v-ennustusmalli on SD 2.0-v.
- Edellä mainittu malli on säädetty SD 2.0 -kannasta, joka on myös saatavilla ja joka on koulutettu tyypilliseksi kohinan ennustusmalliksi 512×512 kuville.
- Piilevä tekstiohjattu diffuusiomalli, jossa on x4-skaalaus, on lisätty.
- Hienostunut SD 2.0 -pohjainen syvyysohjattu stable diffusion malli. Mallia voidaan käyttää rakennetta säilyttävään img2img- ja muotoehdolliseen synteesiin, ja se on sidottu MiDaS:n päättämiin monokulaarisiin syvyysestimaatteihin.
- Parannettu tekstiohjattu maalausmalli, joka on rakennettu SD 2.0 -perustalle.
Kehittäjät työskentelivät ahkerasti, aivan kuten alkuperäinen iteraatio Stable Diffusion, optimoidakseen mallin toimimaan yhdellä grafiikkasuorittimella – he halusivat tehdä siitä mahdollisimman monen ihmisen saatavilla alusta alkaen. He ovat jo nähneet, mitä tapahtuu, kun miljoonat ihmiset saavat käsiinsä nämä mallit ja tekevät yhteistyötä rakentaakseen aivan merkittäviä asioita. Tämä on avoimen lähdekoodin voima: miljoonien lahjakkaiden ihmisten valtavan potentiaalin hyödyntäminen, joilla ei ehkä ole resursseja kouluttaa huippuluokan mallia, mutta joilla on kyky tehdä uskomattomia asioita sen kanssa.
Tämä uusi päivitys yhdistettynä tehokkaisiin uusiin ominaisuuksiin, kuten deep2img ja paremmat resoluution skaalausominaisuudet, toimii perustana lukuisille uusille sovelluksille ja mahdollistaa uuden luovan potentiaalin räjähdysmäisen leviämisen.
Lue lisää Stable Diffusion:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
