Nvidia julkisti eDiff-I:n: uuden generatiivisen tekoälyn tekstin ja kuvan synteesiin välittömällä tyylien siirrolla
Lyhyesti
Nvidia julkaisee eDiff-I:n auttaakseen yrityksiä luomaan korkealaatuisia, mukaansatempaavia kuvia
eDiff-I-tekniikka tuottaa säännöllisesti paremman synteesin laadun kuin DALL-E2 ja Stable diffusion
eDiff-I on uusi AI-sisällönluontityökalu, joka tarjoaa ennennäkemättömät tekstistä kuvaksi -synteesiominaisuudet markkinoijille ja yrityksille, kuten äskettäin ilmoitti Nvidia. eDiff-I:n avulla yritykset voivat nopeasti ja helposti luoda korkealaatuisia, mukaansatempaavia visuaalisia kuvia ilman kalliita laitteita tai ammattiapua. eDiff-I käyttää luonnollisen kielen käsittelyä (NLP) tulkitsemaan käyttäjän syötteitä ja luomaan vastaavia kuvia. Sen jälkeen tekoäly analysoi kuvat ja valitsee kontekstin perusteella sopivimman. Tuloksena on laadukas, ammattimaisen näköinen kuva, jota voidaan käyttää moniin eri tarkoituksiin, kuten markkinointimateriaaleihin, sosiaalisen median postauksiin, sähköpostikampanjoihin ja muihin.
eDiff-I on a seuraavan sukupolven generatiivinen tekoäly sisällönluontityökalu, joka tarjoaa ennennäkemättömän tekstistä kuvaksi synteesi, nopea tyylinsiirto ja intuitiivinen maalaus sanoilla. Diffuusiomallina visuaalien luomiseen tekstistä eDiff-I ehdottaa, että koulutetaan joukko kohinanpoistoverkkoja, joista jokainen on erikoistunut tiettyyn kohinaväliin, vastauksena empiiriseen havaintoon, että diffuusiomallien käyttäytyminen vaihtelee näytteenoton eri vaiheissa.
T5-tekstin upotukset, CLIP-kuvan upotukset ja CLIP-tekstin upotukset muodostavat perustan eDiff-I-konseptille. Tämä menetelmä voi tuottaa fotorealistista grafiikkaa vastauksena mihin tahansa tekstikyselyyn.
Siinä on kaksi lisäominaisuutta tekstistä kuvaksi -synteesin lisäksi: (1) tyylin siirto, jonka avulla voimme ohjata luodun näytteen tyyliä viitetyylikuvan avulla, ja (2) "Paint with Words" -työkalu. jonka avulla käyttäjät voivat luoda kuvia maalaamalla segmentointikarttoja kankaalle.
Liukuhihna koostuu kolmen diffuusiomallin sarjasta: perusmalli, joka voi luoda näytteitä resoluutiolla 64 × 64, ja kaksi superresoluutiopinoa, jotka voivat vähitellen nostaa kuvat 256 × 256 ja 1024 × 1024 resoluutioihin. Mallit laskevat T5 XXL:n ja tekstin upotuksen saatuaan kuvatekstin syötteenä. Näitä kuvien upotuksia voidaan käyttää tyylivektorina. Syötä sitten nämä upotukset kaskadiimme diffuusio malleja, jotka tuottavat vähitellen kuvia, joiden resoluutio on 1024 x 1024.
eDiff-I-lähestymistapa johtaa johdonmukaisesti parempaan synteesin laatuun verrattuna avoimen lähdekoodin tekstistä kuvaksi -algoritmeihin (Stable diffusion) ja (DALL-E2).
Kun käytetään CLIP-kuvan upotuksia, eDiff-I-lähestymistapa helpottaa tyylin siirtoa. eDiff-I purkaa ensin CLIP kuva upotukset viitetyylikuvasta, jota voidaan käyttää tyyliviittausvektorina. Tyylillinen viittaus näkyy alla olevassa kuvassa vasemmassa paneelissa. Tulokset, kun tyylin muokkaus on käytössä, näkyvät keskipaneelissa. Tulokset, kun tyylin säätely on poistettu käytöstä, näkyvät oikealla olevassa paneelissa. Kun tyyliehtoa käytetään, eDiff-I-malli luo tulosteita, jotka vastaavat myös syöttötekstin tyyliä. Kun tyylin säätely on kytketty pois päältä, saadaan luonnollisen näköisiä kuvia.
Valitsemalla lauseita ja raaputtamalla ne kuvaan eDiff-I-menetelmän käyttäjät voivat muuttaa tekstikehotteessa lueteltujen asioiden sijoittelua. Tämän jälkeen malli käyttää kehote ja kartat kuvien luomiseksi jotka ovat yhteensopivia sekä kuvatekstin että syötekartan kanssa.
Lue aiheeseen liittyvät artikkelit:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
