Nvidia kuulutas välja eDiff-I: uue generatiivse AI teksti ja pildi sünteesiks koos stiilide kohese ülekandmisega
Põgusalt
Nvidia toob turule eDiff-I, et aidata ettevõtetel luua kvaliteetseid ja köitvaid pilte
eDiff-I tehnika tagab regulaarselt parema sünteesikvaliteedi kui DALL-E2 ja Stable diffusion
eDiff-I on uus tehisintellekti sisu loomise tööriist, mis annab enneolematud tekstist pildiks sünteesimise võimalused turundajatele ja ettevõtetele, nagu hiljuti teatas Nvidia. eDiff-I abil saavad ettevõtted kiiresti ja lihtsalt luua kvaliteetseid ja kaasahaaravaid visuaale, ilma et oleks vaja kulukaid seadmeid või professionaalset abi. eDiff-I kasutab loomuliku keele töötlust (NLP), et tõlgendada kasutaja sisendit ja genereerida vastavaid pilte. Seejärel analüüsib tehisintellekt pilte ja valib konteksti põhjal sobivaima. Tulemuseks on kvaliteetne ja professionaalse välimusega pilt, mida saab kasutada erinevatel eesmärkidel, näiteks turundusmaterjalide, sotsiaalmeedia postituste, meilikampaaniate jms jaoks.
eDiff-I on a järgmise põlvkonna generatiivne AI sisu loomise tööriist, mis pakub enneolematut tekst-pildiks süntees, kiire stiiliülekanne ja intuitiivne sõnadega maalimine. Difusioonimudelina tekstist visuaalide loomiseks soovitab eDiff-I koolitada välja ekspertide müra vähendamise võrkude ansambli, millest igaüks on spetsialiseerunud konkreetsele müraintervallile, vastuseks empiirilisele järeldusele, et difusioonimudelite käitumine varieerub proovivõtmise erinevates faasides.
T5 tekstimanused, CLIP-kujutise manused ja CLIP-teksti manused loovad eDiff-I kontseptsiooni aluse. See metoodika võib toota fotorealistlikku graafikat vastuseks mis tahes tekstipäringule.
Lisaks tekstist pildiks sünteesile pakub see kahte lisavõimalust: (1) stiiliedastus, mis võimaldab meil juhtida loodud näidise stiili viitestiili kujutise abil, ja (2) tööriist "Paint with Words". mis võimaldab kasutajatel luua pilte, maalides lõuendile segmenteerimiskaarte.
Torujuhe koosneb kolmest difusioonimudelist koosnevast kaskaadist: baasmudel, mis suudab luua näidiseid eraldusvõimega 64 × 64, ja kaks ülieraldusvõimega virna, mis suudavad pilte järk-järgult üles võtta eraldusvõimeni vastavalt 256 × 256 ja 1024 × 1024. Mudelid arvutavad T5 XXL ja teksti manustamise pärast seda, kui on saanud sisendiks pealdise. Neid piltide manuseid saab kasutada stiilivektorina. Seejärel sisestage need manused meie kaskaadi difusioonimudelid, mis toodavad järk-järgult pilte eraldusvõimega 1024 x 1024.
eDiff-I lähenemine annab järjekindlalt parema sünteesikvaliteedi võrreldes avatud lähtekoodiga teksti-pildiks algoritmidega (Stable diffusion) ja (DALL-E2).
Kui kasutatakse CLIP-pildi manustamist, hõlbustab eDiff-I lähenemine stiilide ülekandmist. eDiff-I ekstraheerib kõigepealt CLIP kujutise manused viitestiili kujutisest, mida saab kasutada stiili viitevektorina. Stilistiline viide on näha alloleval joonisel vasakpoolsel paneelil. Tulemused, kui stiili konditsioneerimine on sisse lülitatud, kuvatakse keskpaneelil. Tulemused, kui stiili konditsioneerimine on välja lülitatud, kuvatakse parempoolsel paneelil. Stiilitingimuse rakendamisel loob eDiff-I mudel väljundid, mis vastavad ka sisendi pealkirja stiilile. Kui stiili konditsioneerimine on välja lülitatud, luuakse loomulikud fotod.
Valides fraase ja kritseldades need pildile, saavad eDiff-I meetodi kasutajad muuta tekstiviipale märgitud asjade paigutust. Pärast seda kasutab mudel ja kaardid piltide loomiseks mis ühilduvad nii pealdise kui ka sisendkaardiga.
Loe seotud artikleid:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
