Model prevodu textu na video Gen-2 dokáže generovať krátke videá pomocou textových výziev
Stručne
Nový Text2Video model Gen-2 od RunWayML dokáže nielen upravovať existujúce videá ale tiež generovať nové úplne od začiatku iba pomocou textovej výzvy.
Očakáva sa, že táto funkcia zlepší spôsob, akým ľudia vytvárajú a zdieľajú obsah na platformách sociálnych médií, čo používateľom umožní transformovať sa statické obrázky na dynamické a pútavé videoklipy bez akýchkoľvek predchádzajúcich znalostí úpravy videa.
Nový model prevodu textu na video Gen-2 od spoločnosti Runway dokáže nielen upravovať existujúce videá, ale aj generovať nové úplne od začiatku iba pomocou textovej výzvy. Ide o výrazné zlepšenie oproti predchádzajúcej verzii Gen, ktorá mohla upravovať iba existujúce videá. Model prevodu textu na video Gen-2 využíva špičkovú technológiu AI od Runway na vytváranie videí, ktoré sú na nerozoznanie od tých, ktoré vytvorili ľudia. Vďaka tejto novej funkcii môžu používatelia ušetriť čas a námahu automatickým generovaním videí bez potreby rozsiahlych zručností pri úprave videa.
Nový model Gen-2 je tiež schopný premeniť nahraný obrázok na a krátke video klip. To sa dosiahne poskytnutím textovej nápovedy s popisom toho, aké video chce používateľ mať. Zatiaľ trvanie videí nepresahuje niekoľko sekúnd, ale kvalita je už oveľa vyššia ako u konkurencie (najmä preto, že neurálne siete nie sú verejne dostupné). Očakáva sa, že táto funkcia zlepší spôsob, akým ľudia vytvárajú a zdieľajú obsah na platformách sociálnych médií. S modelom Gen-2 môžu používatelia jednoducho transformovať svoje statické obrázky na dynamické videoklipy. Existuje veľká šanca, že Facebook alebo Tiktok využijú túto technológiu na rozšírenie súboru nástrojov AI dostupných pre tvorcov obsahu.
AI video preteky sú divoké. Od spustenia Gen-1 prešiel len týždeň a Gen-2 je už vonku. Konkurencia medzi technologickými spoločnosťami vo vývoji najpokročilejšej video technológie AI sa rýchlo zvyšuje, pričom každá spoločnosť sa snaží prekonať tú druhú.
Ak chcete vyskúšať novú verziu Gen, budete sa musieť zaregistrovať vo fronte na Webová stránka dráhy.
- Runway, startup s umelou inteligenciou, oznámila Gen-1, neurónová sieť, ktorá dokáže premeniť staré videá na nové kombináciou výziev a obrázkov. Gen-1 umožňuje filmárom rýchlo produkovať obsah nákladovo efektívnym spôsobom použitím kompozície a štýlu obrázková alebo textová výzva na štruktúru zdrojového videa. Runway Research sa venuje budovaniu multimodálnych systémov AI, ktoré umožňujú nové formy kreativity, a Gen-1 možno použiť na experimentovanie s budúcnosťou rozprávania príbehov.
- Minulý mesiac Sam Altman, spoluzakladateľ a generálny riaditeľ spoločnosti OpenAI, nedávno hovoril s TechCrunch a povedal to OpenAI vyvíja an Model AI pre videá a GPT-4, ktorý bude verejnosti sprístupnený po tom, ako spoločnosť potvrdí svoju dôveryhodnosť a bezpečnosť.
- V októbri Google vyvinul Imagen Video, metódu na vytváranie textovo podmienených videí na základe série videí difúzne modely. Systém akceptuje textový popis a generuje 16-snímkový film pri troch snímkach za sekundu s rozlíšením 24 x 48 pixelov. Systém škáluje a „predpovedá“ ďalšie snímky, čím vytvára finálne video so 128 snímkami pri 24 snímkach za sekundu a rozlíšením 720p (1280 × 768). Na trénovanie Imagen Video bolo použitých 14 miliónov párov obrázok-text a XNUMX miliónov párov video-text.
Prečítajte si ďalšie súvisiace články:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
