Nvidia a anunțat eDiff-I: nou AI generativ pentru sinteza textului și imaginilor cu transfer instantaneu de stiluri
Pe scurt
Nvidia lansează eDiff-I pentru a ajuta companiile să creeze imagini captivante de înaltă calitate
Tehnica eDiff-I produce în mod regulat o calitate de sinteză mai mare decât DALL-E2 și Stable diffusion
eDiff-I este un nou instrument de creare de conținut AI care furnizează capabilități fără precedent de sinteză text-to-image pentru marketeri și companii, așa cum a anunțat recent Nvidia. Cu eDiff-I, companiile pot crea rapid și ușor imagini vizuale captivante, de înaltă calitate, fără a fi nevoie de echipamente costisitoare sau de ajutor profesional. eDiff-I folosește procesarea limbajului natural (NLP) pentru a interpreta intrarea utilizatorului și pentru a genera imagini corespunzătoare. AI analizează apoi imaginile și o alege pe cea mai potrivită în funcție de context. Rezultatul este o imagine de înaltă calitate, cu aspect profesional, care poate fi utilizată pentru o varietate de scopuri, cum ar fi materiale de marketing, postări pe rețelele sociale, campanii de e-mail și multe altele.
eDiff-I este a IA generativă de nouă generație instrument de creare de conținut care oferă fără precedent text-to-image sinteză, transfer rapid de stil și pictură intuitivă cu cuvinte. Ca model de difuzie pentru crearea de imagini din text, eDiff-I sugerează antrenarea unui ansamblu de rețele de dezgomot expert, fiecare specializată pentru un anumit interval de zgomot, ca răspuns la descoperirea empirică că comportamentul modelelor de difuzie variază la diferite faze ale eșantionării.
Înglobările de text T5, încorporarea de imagini CLIP și încorporarea de text CLIP oferă baza pentru conceptul eDiff-I. Această metodologie poate produce grafice fotorealiste ca răspuns la orice interogare de text.
Prezintă două capabilități suplimentare pe lângă sinteza text-to-image: (1) transfer de stil, care ne permite să controlăm stilul eșantionului generat utilizând o imagine de stil de referință și (2) „Vopsează cu cuvinte”, un instrument care permite utilizatorilor să creeze imagini pictând hărți de segmentare pe pânză.
Conducta constă dintr-o cascadă de trei modele de difuzie: un model de bază care poate crea mostre cu o rezoluție de 64×64 și două stive de super-rezoluție care pot eșantiona treptat imaginile la rezoluții de 256×256 și, respectiv, 1024×1024. Modelele calculează T5 XXL și încorporarea textului după ce primesc o legendă ca intrare. Aceste imagini încorporate pot fi folosite ca un vector de stil. Apoi, introduceți aceste înglobări în cascada noastră modele de difuzie, care produc treptat imagini cu o rezoluție de 1024 x 1024.
Abordarea eDiff-I are ca rezultat o calitate mai bună a sintezei în comparație cu algoritmii open-source text-to-image (Stable diffusion) și (DALL-E2).
Atunci când sunt utilizate încorporarea imaginii CLIP, abordarea eDiff-I facilitează transferul de stil. eDiff-I extrage mai întâi CLIP înglobări de imagini dintr-o imagine de stil de referință, care poate fi utilizată ca vector de referință de stil. O referință stilistică poate fi văzută în panoul din stânga din figura de mai jos. Rezultatele atunci când condiționarea stilului este activată sunt afișate în panoul central. Rezultatele atunci când condiționarea stilului este dezactivată sunt afișate în panoul din dreapta. Atunci când se aplică condiționarea stilului, modelul eDiff-I creează ieșiri care sunt, de asemenea, fidele stilului legendei de intrare. Când condiționarea stilului este dezactivată, sunt produse fotografii cu aspect natural.
Alegând fraze și mâzgălindu-le pe imagine, utilizatorii metodei eDiff-I pot schimba plasarea lucrurilor care sunt listate în promptul text. După aceea, modelul folosește prompt și hărți pentru a crea imagini care sunt compatibile atât cu legenda, cât și cu harta de intrare.
Citiți articole conexe:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
