Stability AINi Stable Diffusion 2 Publiko na sa wakas ang Algorithm: bagong modelo ng depth2img, super-resolution na upscaler, walang pang-adult na content
Sa madaling sabi
Stable Diffusion 2.0 na modelo ay mas mabilis, open source, scalable, mas matatag kaysa sa nauna
Stable Diffusion nagiging handa sa GPU gamit ang mga bagong feature para sa real-time na pag-render
Gabay sa lalim stable diffusion modelo – Image-to-image na may mga bagong ideya para sa mga malikhaing aplikasyon
Stability AI ay pinalaya isang bagong papel sa blog nito tungkol sa Stable Diffusion 2. Sa loob nito, Stability AI nagmumungkahi ng bagong algorithm na mas mahusay at matatag kaysa sa nauna habang bina-benchmark ito laban sa iba pang mga makabagong pamamaraan.
Orihinal na CompVis Stable Diffusion V1 modelo revolutionized ang kalikasan ng open-source Mga modelo ng AI at gumawa ng daan-daang iba't ibang modelo at pagsulong sa buong mundo. Nakita nito ang isa sa pinakamabilis na pag-akyat sa 10,000 Github star, na umabot ng 33,000 sa wala pang dalawang buwan, mas mabilis kaysa sa higit pang mga programa sa Github.
Ang orihinal na Stable Diffusion Ang paglabas ng V1 ay pinangunahan ng dinamikong koponan ni Robin Rombach (Stability AI) at Patrick Esser (Runway ML) mula sa CompVis Group sa LMU Munich, pinangunahan ni Prof. Dr. Björn Ommer. Binuo nila ang nakaraang gawain ng lab kasama ang Latent Mga Modelo ng Pagsasabog at nakatanggap ng kritikal na suporta mula sa LAION at Eleuther AI.
Kung bakit Stable Diffusion v1 naiiba sa Stable Diffusion v2?
Stable Diffusion Kasama sa 2.0 ang ilang makabuluhang pagpapahusay at tampok sa nakaraang bersyon, kaya tingnan natin ang mga ito.
Ang Stable Diffusion Ang 2.0 release ay nagtatampok ng magagaling na text-to-image na mga modelo na sinanay gamit ang bagong text encoder (OpenCLIP) na binuo ng LAION sa tulong ng Stability AI, na makabuluhang nagpapataas ng kalidad ng nabuong mga larawan sa mga nakaraang paglabas ng V1. Ang mga modelo ng text-to-image ng release na ito ay maaaring mag-output ng mga larawang may mga default na resolution na 512×512 pixels at 768×768 pixels.
Ang mga modelong ito ay sinanay gamit ang isang aesthetic subset ng LAION-5B dataset na binuo ni Stability AIDeepFloyd team, na pagkatapos ay sinasala upang ibukod ang nilalamang pang-adulto gamit ang NSFW filter ng LAION.
Ang mga pagsusuri gamit ang 50 DDIM sample na hakbang, 50 classifier-free guiding scale, at 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, at 8.0 ay nagpapahiwatig ng mga kaugnay na pagpapabuti ng mga checkpoint:
Stable Diffusion Ang 2.0 ay nagsasama na ngayon ng isang Upscaler Diffusion na modelo, na nagpapataas ng resolution ng imahe sa pamamagitan ng apat na salik. Isang halimbawa ng aming modelo upscaling isang mababang kalidad na nabuong larawan (128×128) sa mas mataas na resolution na imahe ay ipinapakita sa ibaba (512×512). Stable Diffusion 2.0, kapag pinagsama sa aming mga text-to-image na modelo, ay maaari na ngayong bumuo ng mga larawang may mga resolusyon na 2048×2048 o mas mataas.
Ang bagong depth-guided stable diffusion modelo, depth2img, pinalawak ang naunang feature na image-to-image mula sa V1 na may ganap na bagong mga posibilidad sa creative. Tinutukoy ng Depth2img ang lalim ng isang input na imahe (gamit ang isang umiiral na modelo) at pagkatapos ay bumubuo ng bago imahe batay sa parehong teksto at ang malalim na impormasyon. Ang Depth-to-Image ay makakapagbigay ng napakaraming bagong creative na application, na nag-aalok ng mga pagbabagong tila ibang-iba sa orihinal habang pinapanatili ang pagkakaugnay at lalim ng larawan.
Ano ang bago sa Stable Diffusion 2?
- Ang bagong stable diffusion modelo nag-aalok ng 768 × 768 na resolusyon.
- Ang U-Net ay may parehong dami ng mga parameter gaya ng bersyon 1.5, ngunit ito ay sinanay mula sa simula at gumagamit ng OpenCLIP-ViT/H bilang text encoder nito. Ang tinatawag na v-prediction model ay SD 2.0-v.
- Ang nabanggit na modelo ay inayos mula sa SD 2.0-base, na ginawa ding available at sinanay bilang tipikal na modelo ng noise-prediction sa 512×512 na mga larawan.
- Naidagdag ang isang nakatagong text-guided diffusion model na may x4 scaling.
- Pinong SD 2.0-base depth-guided stable diffusion modelo. Maaaring gamitin ang modelo para sa pag-iingat ng istraktura ng img2img at synthesis ng hugis-kondisyon at nakakondisyon sa mga pagtatantya ng monocular depth na hinuhusgahan ng MiDaS.
- Isang pinahusay na text-guided inpainting model na binuo sa SD 2.0 foundation.
Nagtrabaho nang husto ang mga developer, tulad ng unang pag-ulit ng Stable Diffusion, upang i-optimize ang modelo na tumakbo sa isang GPU—gusto nilang gawin itong naa-access sa pinakamaraming tao hangga't maaari mula sa simula. Nakita na nila kung ano ang mangyayari kapag ang milyun-milyong indibidwal ang kumuha ng kanilang mga kamay sa mga modelong ito at nagtutulungan upang makabuo ng mga kahanga-hangang bagay. Ito ang kapangyarihan ng open source: paggamit ng malawak na potensyal ng milyun-milyong mahuhusay na tao na maaaring walang mga mapagkukunan upang sanayin ang isang makabagong modelo ngunit may kakayahang gumawa ng mga hindi kapani-paniwalang bagay sa isa.
Ang bagong update na ito, na sinamahan ng makapangyarihang mga bagong feature tulad ng depth2img at mas mahusay na resolution upscaling na mga kakayahan, ay magsisilbing pundasyon para sa napakaraming bagong application at magbibigay-daan sa isang pagsabog ng bagong potensyal na creative.
Magbasa pa tungkol sa Stable Diffusion:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
