GLIGEN: uus külmutatud tekstist pildiks genereerimise mudel piirdekastiga
Põgusalt
GLIGEN ehk Grounded-Language-to-Image Generation on uudne tehnika, mis põhineb praegustel eelkoolitatud difusioonimudelitel ja laiendab nende võimekust.
Tiitrite ja piirdekasti tingimuste sisenditega genereerib GLIGEN-mudel avatud maailma maandatud text2img.
GLIGEN suudab genereerida mitmesuguseid objekte kindlates kohtades ja stiilides, kasutades selleks eelnevalt koolitatud text2img mudeli teadmisi.
GLIGEN võib tekstist kujutisteks genereerides ka inimeste võtmepunkte maandada.
Suuremahulised tekstist pildiks levitamise mudelid on jõudnud kaugele. Praegune tava on aga tugineda ainult tekstisisendile, mis võib piirata juhitavust. GLIGEN, ehk maandatud keelest pildiks genereerimine, on uudne tehnika, mis tugineb praegustele eelkoolitatud teksti-pildiks difusioonimudelitele ja laiendab nende võimekust, võimaldades neid konditsioneerida maandussisenditel.
Eelkoolitatud mudeli laialdaste kontseptsiooniteadmiste säilitamiseks külmutavad arendajad selle kõik kaalud ja pumpavad maandusteabe kontrollitud protsessi kaudu värsketesse treenitavatesse kihtidesse. Tiitrite ja piirdekasti tingimuste sisenditega genereerib GLIGEN-mudel avatud maailma maandatud tekstist pildiks ja maandusvõime üldistatakse tõhusalt uudsete ruumiliste konfiguratsioonide ja kontseptsioonidega.
Tutvu demo siin.
- GLIGEN põhineb olemasoleval eelkoolitatud difusioonimudelid, mille algsed kaalud on külmutatud, et säilitada tohutul hulgal eelkoolitatud teadmisi.
- Iga trafoploki juures luuakse uus treenitav väravaga enesetähelepanu kiht, et neelata täiendavat maandussisendit.
- Igal maandusmärgil on kahte tüüpi teavet: semantiline teave maandatud asja kohta (kodeeritud tekst või pilt) ja ruumilise asukoha teave (kodeeritud piirdekast või võtmepunktid).
| Seotud artikkel: Microsoft on välja andnud difusioonimudeli, mis suudab luua 3D-avatari ühest inimese fotost |
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
