Nvidia je napovedala eDiff-I: nov generativni AI za sintezo besedila in slike s takojšnjim prenosom slogov
Na kratko
Nvidia lansira eDiff-I za pomoč podjetjem pri ustvarjanju visokokakovostnih in privlačnih slik
Tehnika eDiff-I redno proizvaja večjo kakovost sinteze kot DALL-E2 in Stable diffusion
eDiff-I je novo orodje za ustvarjanje vsebin z umetno inteligenco, ki zagotavlja zmožnosti sinteze besedila v sliko brez primere za tržnike in podjetja, kot je nedavno napovedal Nvidia. Z eDiff-I lahko podjetja hitro in preprosto ustvarijo visokokakovostne, privlačne vizualne podobe brez potrebe po dragi opremi ali strokovni pomoči. eDiff-I uporablja obdelavo naravnega jezika (NLP) za interpretacijo uporabnikovega vnosa in ustvarjanje ustreznih slik. AI nato analizira slike in na podlagi konteksta izbere najprimernejšo. Rezultat je visokokakovostna slika profesionalnega videza, ki jo je mogoče uporabiti za različne namene, kot so trženjsko gradivo, objave v družabnih omrežjih, e-poštne kampanje in drugo.
eDiff-I je a generativne umetne inteligence naslednje generacije orodje za ustvarjanje vsebine, ki zagotavlja brez primere besedilo v sliko sinteza, hiter prenos sloga in intuitivno slikanje z besedami. Kot difuzijski model za ustvarjanje vizualnih elementov iz besedila eDiff-I predlaga usposabljanje skupine strokovnih mrež za odstranjevanje šumov, od katerih je vsako specializirano za določen interval šuma, kot odgovor na empirično ugotovitev, da se obnašanje difuzijskih modelov spreminja v različnih fazah vzorčenja.
Vdelave besedila T5, vdelave slik CLIP in vdelave besedila CLIP zagotavljajo osnovo za koncept eDiff-I. Ta metodologija lahko ustvari fotorealistično grafiko kot odgovor na katero koli besedilno poizvedbo.
Predstavlja dve dodatni zmožnosti poleg sinteze besedila v sliko: (1) prenos sloga, ki nam omogoča, da nadziramo slog ustvarjenega vzorca z referenčno slogovno sliko, in (2) orodje »Paint with Words« ki uporabnikom omogoča ustvarjanje slik s slikanjem segmentacijskih zemljevidov na platno.
Cevovod je sestavljen iz kaskade treh difuzijskih modelov: osnovnega modela, ki lahko ustvari vzorce z ločljivostjo 64 × 64, in dveh nizov super ločljivosti, ki lahko postopoma vzorčita slike do ločljivosti 256 × 256 oziroma 1024 × 1024. Modeli izračunajo T5 XXL in vdelavo besedila, potem ko kot vhod prejmejo napis. Te vdelane slike se lahko uporabljajo kot vektor sloga. Nato vnesite te vdelave v naše kaskadne difuzijski modeli, ki postopoma proizvajajo slike z ločljivostjo 1024 x 1024.
Pristop eDiff-I dosledno zagotavlja boljšo kakovost sinteze v primerjavi z odprtokodnimi algoritmi besedila v sliko (Stable diffusion) in (DALL-E2).
Ko so uporabljene vdelave slik CLIP, pristop eDiff-I olajša prenos sloga. eDiff-I najprej ekstrahira CLIP vdelave slik iz slike referenčnega sloga, ki se lahko uporabi kot referenčni vektor sloga. Slogovno referenco lahko vidite na spodnji levi plošči. Rezultati, ko je vklopljeno pogojevanje sloga, so prikazani na osrednji plošči. Rezultati, ko je pogojevanje sloga izklopljeno, so prikazani na plošči na desni. Ko je uporabljeno pogojevanje sloga, model eDiff-I ustvari rezultate, ki so prav tako zvesti slogu vhodnega napisa. Ko je stilsko pogojevanje izklopljeno, se ustvarijo fotografije naravnega videza.
Uporabniki metode eDiff-I lahko z izbiro besednih zvez in njihovim čečkanjem na sliko spremenijo postavitev stvari, ki so navedene v besedilnem pozivu. Po tem model uporabi poziv in zemljevide za ustvarjanje slik ki so združljivi z napisom in zemljevidom vnosa.
Preberite povezane članke:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
