Az Nvidia bejelentette az eDiff-I-t: új generatív mesterséges intelligencia szöveg- és képszintézishez a stílusok azonnali átvitelével
Röviden
Az Nvidia elindítja az eDiff-I-t, hogy segítsen a vállalkozásoknak kiváló minőségű, vonzó képeket készíteni
Az eDiff-I technika rendszeresen jobb szintézisminőséget produkál, mint a DALL-E2 és Stable diffusion
Az eDiff-I egy új AI tartalomkészítő eszköz, amely biztosít példátlan szöveg-kép szintézis képességek marketingesek és vállalkozások számára, ahogy a közelmúltban bejelentette Nvidia. Az eDiff-I segítségével a vállalkozások gyorsan és egyszerűen készíthetnek kiváló minőségű, lebilincselő látványelemeket anélkül, hogy drága berendezésekre vagy professzionális segítségre lenne szükségük. Az eDiff-I természetes nyelvi feldolgozást (NLP) használ a felhasználó bevitelének értelmezésére és a megfelelő képek előállítására. Az AI ezután elemzi a képeket, és a kontextus alapján kiválasztja a legmegfelelőbbet. Az eredmény egy kiváló minőségű, professzionális megjelenésű kép, amely többféle célra felhasználható, például marketing anyagok, közösségi média bejegyzések, e-mail kampányok stb.
Az eDiff-I a következő generációs generatív AI tartalomkészítő eszköz, amely példátlan szöveg-kép szintézis, gyors stílusátvitel és intuitív festés szavakkal. Az eDiff-I egy diffúziós modellként a vizuális elemek szövegből történő létrehozásához javasolja szakértői zajtalanító hálózatok együttesének képzését, amelyek mindegyike egy adott zajintervallumra specializálódott, válaszul arra az empirikus megállapításra, hogy a diffúziós modellek viselkedése a mintavétel különböző fázisaiban változik.
A T5 szövegbeágyazások, a CLIP képbeágyazások és a CLIP szövegbeágyazások adják az eDiff-I koncepció alapját. Ez a módszer bármilyen szöveges lekérdezésre képes fotorealisztikus grafikát készíteni.
A szöveg-kép szintézis mellett két további lehetőséget is kínál: (1) stílusátvitel, amely lehetővé teszi a generált minta stílusának vezérlését egy referenciastílus-kép segítségével, és (2) a „Paint with Words” nevű eszköz. amely lehetővé teszi a felhasználók számára, hogy szegmentációs térképek vászonra festésével képeket hozzanak létre.
A csővezeték három diffúziós modellből álló kaszkádból áll: egy alapmodellből, amely 64×64-es felbontású mintákat tud készíteni, valamint két szuperfelbontású köteget, amelyek fokozatosan 256×256-os, illetve 1024×1024-es felbontásra képesek felmintázni a képeket. A modellek a T5 XXL-t és a szövegbeágyazást számítják ki, miután bemenetként megkapták a feliratot. Ezek a képbeágyazások stílusvektorként használhatók. Ezután töltse be ezeket a beágyazásokat a kaszkádba diffúziós modellek, amelyek fokozatosan 1024 x 1024 felbontású képeket készítenek.
Az eDiff-I megközelítés következetesen jobb szintézis minőséget eredményez a nyílt forráskódú szöveg-kép algoritmusokhoz képest (Stable diffusion) és (DALL-E2).
A CLIP képbeágyazások alkalmazásakor az eDiff-I megközelítés megkönnyíti a stílusátvitelt. Az eDiff-I először kivonja a CLIP képbeágyazások egy referenciastílusú képből, amely stílusreferencia vektorként használható. Egy stilisztikai utalás látható az alábbi ábra bal oldali paneljén. A stíluskezelés bekapcsolásakor elért eredmények a középső panelen jelennek meg. A stíluskondicionálás kikapcsolásakor elért eredmények a jobb oldali panelen jelennek meg. Stíluskondicionálás esetén az eDiff-I modell olyan kimeneteket hoz létre, amelyek igazak a bemeneti felirat stílusához is. Ha a stíluskezelés ki van kapcsolva, természetes hatású fényképek készülnek.
A kifejezések kiválasztásával és a képre firkantásával az eDiff-I módszer felhasználói megváltoztathatják a szöveges promptban felsorolt dolgok elhelyezését. Ezt követően a modell a parancssort és a térképeket a képek létrehozásához amelyek mind a felirattal, mind a bemeneti térképpel kompatibilisek.
Olvassa el a kapcsolódó cikkeket:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
