Stability AI'S Stable Diffusion 2 Algoritm on lõpuks avalik: uus deep2img mudel, ülima eraldusvõimega suurendaja, täiskasvanutele mõeldud sisu puudub
Põgusalt
Stable Diffusion 2.0 mudel on kiirem, avatud lähtekoodiga, skaleeritav ja tugevam kui eelmine
Stable Diffusion saab GPU-valmis uute funktsioonidega reaalajas renderdamiseks
Sügavusjuhitav stable diffusion mudel – Pilt-pildiks uute ideedega loomingulisteks rakendusteks
Stability AI on vabastatud oma ajaveebis uus paber teemal Stable Diffusion 2. Selles Stability AI pakub välja uue algoritmi, mis on eelmisest tõhusam ja jõulisem, samas võrdleb seda teiste nüüdisaegsete meetoditega.
CompVisi originaal Stable Diffusion V1 mudel revolutsiooniliselt avatud lähtekoodi olemus AI mudelid ja tootis sadu erinevaid mudeleid ja edusamme üle maailma. See oli üks kiiremaid tõuse 10,000 33,000 Githubi tärnini, kogudes vähem kui kahe kuuga XNUMX XNUMX tähte, mis on kiirem kui Githubi teiste programmide puhul.
Algne Stable Diffusion V1 väljalaset juhtis Robin Rombachi dünaamiline meeskond (Stability AI) ja Patrick Esser (Runway ML) CompVis Groupist LMU Münchenis eesotsas prof dr Björn Ommeriga. Nad tuginesid labori varasemale tööle Latentiga Difusioonimudelid ning sai kriitilist tuge LAIONilt ja Eleuther AI-lt.
Mis teeb Stable Diffusion v1 erineb Stable Diffusion v2?
Stable Diffusion 2.0 sisaldab mitmeid olulisi täiustusi ja funktsioone võrreldes eelmise versiooniga, nii et vaatame neid.
. Stable Diffusion 2.0 väljalase sisaldab tugevaid tekstist pildiks muutmise mudeleid, mis on koolitatud värske uue tekstikodeerijaga (OpenCLIP), mille on välja töötanud LAION koos ettevõtte abiga Stability AI, mis tõstab oluliselt selle kvaliteeti loodud pilte võrreldes eelmiste V1 väljaannetega. Selle versiooni tekstist pildiks muutmise mudelid suudavad väljastada pilte vaikeeraldusvõimega 512 × 512 pikslit ja 768 × 768 pikslit.
Neid mudeleid koolitatakse, kasutades LAION-5B andmestiku esteetilist alamhulka, mille on loonud Stability AIDeepFloydi meeskond, mis seejärel filtreeritakse täiskasvanutele mõeldud sisu välistamiseks LAIONi NSFW filtri abil.
50 DDIM näidisetappi, 50 klassifikaatorivaba juhtskaalat ja 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 ja 8.0 kasutavad hinnangud näitavad kontrollpunktide suhtelist paranemist:
Stable Diffusion 2.0 sisaldab nüüd Upscaler Diffusion mudelit, mis suurendab pildi eraldusvõimet neli korda. Meie mudeli näide upscaling madala kvaliteediga genereeritud pilt (128 × 128) kõrgema eraldusvõimega pildiks on näidatud allpool (512 × 512). Stable Diffusion 2.0, kombineerituna meie tekstist pildiks muutvate mudelitega, saab nüüd luua pilte eraldusvõimega 2048 × 2048 või rohkem.
Uus sügavusjuhitav stable diffusion mudel, deep2img, laiendab V1 varasemat pilt-pildiks funktsiooni täiesti uute loominguliste võimalustega. Depth2img määrab sisendpildi sügavuse (kasutades olemasolevat mudelit) ja genereerib seejärel uue pildid nii teksti kui ka sügavuse teabe põhjal. Sügavus pildini võib pakkuda hulgaliselt uusi loomingulisi rakendusi, pakkudes muudatusi, mis tunduvad originaalist oluliselt erinevad, säilitades samal ajal pildi sidususe ja sügavuse.
Mis on uus Stable Diffusion 2?
- Uus stable diffusion mudel pakub eraldusvõimet 768 × 768.
- U-Netil on sama palju parameetreid kui versioonil 1.5, kuid see on nullist välja õpetatud ja kasutab tekstikodeerijana OpenCLIP-ViT/H. Nn v-ennustusmudel on SD 2.0-v.
- Eelnimetatud mudel oli kohandatud SD 2.0 baasilt, mis on samuti saadaval ja mida koolitati tüüpiliseks müra ennustusmudeliks 512 × 512 piltidel.
- Lisatud on varjatud tekstiga juhitav difusioonimudel koos x4 skaleerimisega.
- Viimistletud SD 2.0-aluse sügavusjuhitav stable diffusion mudel. Mudelit saab kasutada struktuuri säilitamiseks img2img ja kuju-tingimuslikuks sünteesiks ning see sõltub MiDaS-i tuletatud monokulaarse sügavuse hinnangutest.
- Täiustatud tekstijuhiga maalimismudel, mis on ehitatud SD 2.0 alusele.
Arendajad töötasid kõvasti, nagu ka esialgne iteratsioon Stable Diffusion, et optimeerida mudelit nii, et see töötaks ühel GPU-l – nad tahtsid algusest peale teha selle kättesaadavaks võimalikult paljudele inimestele. Nad on juba näinud, mis juhtub, kui miljonid inimesed saavad need mudelid kätte ja teevad koostööd, et luua täiesti tähelepanuväärseid asju. See on avatud lähtekoodi võimsus: miljonite andekate inimeste tohutu potentsiaali ärakasutamine, kellel ei pruugi olla ressursse tipptasemel mudeli väljaõpetamiseks, kuid kellel on võime selle abil teha uskumatuid asju.
See uus värskendus koos võimsate uute funktsioonidega, nagu sügavus2img ja parema eraldusvõime suurendamise võimalustega, on aluseks paljudele uutele rakendustele ja võimaldab plahvatuslikult suurendada uut loomingulist potentsiaali.
Lugege lisateavet Stable Diffusion:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
