Nvidia oznámila eDiff-I: novou generativní umělou inteligenci pro syntézu textu a obrázků s okamžitým přenosem stylů
Stručně
Nvidia spouští eDiff-I, aby pomohla podnikům vytvářet vysoce kvalitní a poutavé obrázky
Technika eDiff-I pravidelně produkuje vyšší kvalitu syntézy než DALL-E2 a Stable diffusion
eDiff-I je nový nástroj pro tvorbu obsahu AI, který poskytuje bezprecedentní možnosti syntézy textu na obrázek pro obchodníky a podniky, jak nedávno oznámila společnost Nvidia. S eDiff-I mohou podniky rychle a snadno vytvářet vysoce kvalitní a poutavé vizuály, aniž by potřebovaly drahé vybavení nebo odbornou pomoc. eDiff-I používá zpracování přirozeného jazyka (NLP) k interpretaci vstupu uživatele a generování odpovídajících obrázků. Umělá inteligence pak obrázky analyzuje a na základě kontextu vybere ten nejvhodnější. Výsledkem je vysoce kvalitní, profesionálně vypadající obrázek, který lze použít pro různé účely, jako jsou marketingové materiály, příspěvky na sociálních sítích, e-mailové kampaně a další.
eDiff-I je a generativní AI nové generace nástroj pro tvorbu obsahu, který poskytuje bezprecedentní převod textu na obrázek syntéza, rychlý přenos stylu a intuitivní malování slovy. Jako difúzní model pro vytváření vizuálů z textu eDiff-I navrhuje trénovat soubor expertních sítí pro odšumování, z nichž každá se specializuje na určitý interval šumu, v reakci na empirické zjištění, že chování modelů difúze se v různých fázích vzorkování liší.
Základem konceptu eDiff-I jsou vkládání textu T5, vkládání obrázků CLIP a vkládání textu CLIP. Tato metodika může vytvářet fotorealistickou grafiku jako odpověď na jakýkoli textový dotaz.
Kromě syntézy textu na obrázek představuje dvě další funkce: (1) přenos stylu, který nám umožňuje ovládat styl generovaného vzorku pomocí obrázku referenčního stylu, a (2) nástroj „Paint with Words“ který umožňuje uživatelům vytvářet obrazy malováním segmentačních map na plátno.
Potrubí se skládá z kaskády tří difúzních modelů: základního modelu, který dokáže vytvářet vzorky s rozlišením 64×64, a dvou stacků s vysokým rozlišením, které mohou obrázky postupně převzorkovat na rozlišení 256×256 a 1024×1024. Modely vypočítají T5 XXL a vkládání textu po obdržení titulku jako vstupu. Tyto vložené obrázky lze použít jako vektor stylu. Poté vložte tato vložení do našeho kaskádového systému difúzní modely, které postupně produkují obrázky s rozlišením 1024 x 1024.
Přístup eDiff-I konzistentně vede k lepší kvalitě syntézy ve srovnání s open-source algoritmy pro převod textu na obrázek (Stable diffusion) a (DALL-E2).
Když je použito vkládání obrázků CLIP, přístup eDiff-I usnadňuje přenos stylu. eDiff-I nejprve extrahuje soubor CLIP vložení obrázků z obrázku referenčního stylu, které lze použít jako referenční vektor stylu. Stylistický odkaz je vidět na obrázku níže v levém panelu. Výsledky při zapnutí úpravy stylu se zobrazí na středovém panelu. Výsledky, když je úprava stylu vypnutá, se zobrazí na panelu vpravo. Když se použije úprava stylu, model eDiff-I vytvoří výstupy, které jsou také věrné stylu vstupního titulku. Když je úprava stylu vypnuta, vytvoří se přirozeně vypadající fotografie.
Výběrem frází a jejich naškrábáním na obrázek mohou uživatelé metody eDiff-I změnit umístění věcí, které jsou uvedeny v textové výzvě. Poté model používá výzvu a mapy k vytvoření obrázků které jsou kompatibilní s titulkem i vstupní mapou.
Přečtěte si související články:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
