Gen-1: AI generuje nové videá z existujúcich tým, že kombinuje výzvy a obrázky
Stručne
Gen-1 je neurónová sieť, ktorá dokáže generovať nové videá z existujúcich spojením výzvy a obrázky.
Dalo by sa tiež použiť na vytváranie úplne nových videí od začiatku.
Schopnosť generovať nové videá z existujúcich má množstvo potenciálnych aplikácií.
RunWayML, startup s umelou inteligenciou, oznámila nový produkt s názvom Gen-1, neurónová sieť, ktorá dokáže generovať nové videá z existujúcich tým, že kombinuje výzvy a obrázky. Už roky sa neurónové siete obmedzujú na úlohu prenosu štýlu, čo je proces nasnímania obrázka a aplikovanie štýlu iného obrázka naň. Takto získame tie trippy deep-learning style transfer videá, kde je napríklad krajina vykreslená v štýle Van Goghovej Hviezdnej noci.
Teraz s Gen-1 môžu neurónové siete robiť viac než len prenos štýlu. Dokáže generovať nové videá od začiatku pomocou výziev a obrázkov ako vstupu. To otvára úplne nové možnosti pre Videá vytvorené AI. Práve teraz sú videá generované Gen-1 krátke a jednoduché. Ale ako sa technológia vyvíja, môžeme očakávať, že uvidíme zložitejšie a realistické videá generované AI.
| Odporúčaný príspevok: Reprodukčné zdravie mužov sa zlepšuje sledovaním videí pre dospelých vo virtuálnej realite |
Čo je Gen-1?
Výkonné nástroje na vytváranie a úpravu obrázkov sú odomknuté pomocou textu generatívne difúzne modely. Zatiaľ čo tieto boli aplikované na vytváranie videí, súčasné spôsoby úpravy obsahu už existujúceho materiálu pri zachovaní jeho štruktúry vyžadujú nákladné preškolenie pre každý vstup alebo závisia od riskantného šírenia obrazových zmien medzi snímkami.
Vývojári opisujú model pre difúziu videa riadenú štruktúrou a obsahom, ktorá mení filmy na základe písomných alebo vizuálnych popisov požadovaného výsledku. V dôsledku nedostatočného oddelenia vznikajú konflikty medzi úpravami obsahu poskytovanými používateľom a reprezentáciami štruktúry. Ukazujú, že integritu štruktúry a obsahu možno kontrolovať tréningom na monokulárnych odhadoch hĺbky s rôznymi úrovňami detailov.
Syntetizujte nové videá realistickým a konzistentným spôsobom použitím kompozície a štýlu obrázka alebo textovej výzvy na štruktúru zdrojového videa. Je to ako natáčanie niečoho nového bez toho, aby ste v skutočnosti niečo natočili.
Prenesenie štýlu obrázka alebo výzvy do každej snímky videa môže byť skvelým spôsobom, ako zjednotiť váš projekt, dať mu zastrešujúci vizuálny motív a vytvoriť konzistentnosť.
Pomocou softvéru a kreatívneho dizajnu možno makety premeniť na esteticky príjemné a interaktívne rendery, ktoré oživia víziu používateľa.
Vďaka funkciám na úpravu videa je ľahké izolovať časti videa a vylepšiť ich textovými výzvami.
Aplikovanie vstupného obrázka resp prompt netexturované rendery môžu výrazne zlepšiť ich realizmus a oživiť 3D modely.
Runway Research sa venuje budovaniu multimodálnych systémov AI, ktoré umožňujú nové formy kreativity. Gen-1 predstavuje ďalší z našich kľúčových krokov vpred v tejto misii. Ak ste kreatívny a chcete experimentovať s budúcnosťou rozprávania príbehov, nižšie požiadajte o prístup.
Gen-1 možno použiť aj na vytváranie úplne nových videí od začiatku. Dá sa použiť na množstvo účelov, vrátane vytvárania nových verzií existujúcich filmov alebo vytvárania úplne nových filmov. Táto novinka určite nadchne filmárov a ďalších kreatívcov, ktorí stále hľadajú nové spôsoby, ako posúvať hranice svojho umenia. S Gen-1 majú teraz k dispozícii nový výkonný nástroj.
Schopnosť vytvárať nové videá z existujúcich má množstvo potenciálnych aplikácií. Napríklad by sa dal použiť na vytváranie nových verzií existujúceho video obsahu, takže by sa dal použiť na vytváranie alternatívnych verzií scén alebo záberov, ktoré môžu byť príliš drahé alebo logisticky náročné na natáčanie.
Môžete požiadať o používanie modelu, kým je v beta testovaní tu.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
