GLIGEN: bagong naka-freeze na modelo ng henerasyon ng text-to-image na may bounding box
Sa madaling sabi
Ang GLIGEN, o Grounded-Language-to-Image Generation, ay isang nobelang pamamaraan na bumubuo at nagpapalawak ng kakayahan ng mga kasalukuyang pre-trained na diffusion model.
Gamit ang caption at bounding box condition inputs, ang GLIGEN model ay bumubuo ng open-world grounded text2img.
Maaaring makabuo ang GLIGEN ng iba't ibang bagay sa mga partikular na lugar at istilo sa pamamagitan ng paggamit ng kaalaman mula sa isang pretrained na text2img na modelo.
Ang GLIGEN ay maaari ding mag-ground ng mga keypoint ng tao habang bumubuo ng text-to-images.
Malayo na ang narating ng mga malalaking modelo ng text-to-image diffusion. Gayunpaman, ang kasalukuyang kasanayan ay umasa lamang sa input ng text, na maaaring limitahan ang pagkontrol. GLIGEN, o Grounded-Language-to-Image Generation, ay isang nobelang pamamaraan na bumubuo at nagpapalawak ng kakayahan ng kasalukuyang mga pre-trained na text-to-image diffusion na mga modelo sa pamamagitan ng pagpayag sa mga ito na makondisyon sa mga grounding input.
Upang mapanatili ang malawak na kaalaman sa konsepto ng pre-trained na modelo, i-freeze ng mga developer ang lahat ng mga timbang nito at i-pump ang impormasyon sa saligan sa mga bagong sanay na layer sa pamamagitan ng isang kinokontrol na proseso. Gamit ang caption at bounding box condition inputs, ang GLIGEN model ay bumubuo ng open-world grounded text-to-image, at ang grounding ability ay epektibong nagsa-generalize sa mga bagong spatial na configuration at konsepto.
Tingnan ang demo dito.
- Ang GLIGEN ay batay sa umiiral nang pre-trained mga modelo ng pagsasabog, ang orihinal na mga timbang ay na-freeze upang mapanatili ang napakalaking halaga ng paunang sinanay na kaalaman.
- Sa bawat bloke ng transformer, isang bagong nasasanay na layer ng Gated Self-Attention ay nilikha upang sumipsip ng karagdagang grounding input.
- Ang bawat grounding token ay may dalawang uri ng impormasyon: semantic na impormasyon tungkol sa pinagbabatayan na bagay (naka-encode na text o larawan) at spatial na impormasyon sa posisyon (naka-encode na bounding box o mga pangunahing punto).
| Kaugnay na artikulo: VToonify: Isang real-time na modelo ng AI para sa pagbuo ng mga artistikong portrait na video |
| Kaugnay na artikulo: Naglabas ang Microsoft ng diffusion model na maaaring bumuo ng 3D avatar mula sa isang larawan ng isang tao |
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
