Stability AI'S Stable Diffusion 2 Algoritma Akhirnya Dipublikasikan: model depth2img baru, peningkatan resolusi super, tanpa konten dewasa
Singkatnya
Stable Diffusion Model 2.0 lebih cepat, open source, terukur, lebih kuat dari model sebelumnya
Stable Diffusion menyiapkan GPU dengan fitur baru untuk rendering waktu nyata
Dipandu kedalaman stable diffusion model – Gambar-ke-gambar dengan ide-ide baru untuk aplikasi kreatif
Stability AI memiliki dirilis makalah baru di blognya tentang Stable Diffusion 2. Di dalamnya, Stability AI mengusulkan algoritme baru yang lebih efisien dan kuat daripada yang sebelumnya sambil membandingkannya dengan metode canggih lainnya.
CompVis asli Stable Diffusion Model V1 merevolusi sifat open-source Model AI dan menghasilkan ratusan model dan kemajuan berbeda di seluruh dunia. Itu melihat salah satu pendakian tercepat ke 10,000 bintang Github, mengumpulkan 33,000 dalam waktu kurang dari dua bulan, lebih cepat daripada lebih banyak program di Github.
Asli Stable Diffusion Rilis V1 dipimpin oleh tim dinamis Robin Rombach (Stability AI) dan Patrick Esser (Runway ML) dari CompVis Group di LMU Munich, dipimpin oleh Prof. Dr. Björn Ommer. Mereka mengembangkan pekerjaan lab sebelumnya dengan Latent Model Difusi dan menerima dukungan kritis dari LAION dan Eleuther AI.
Apa yang membuat Stable Diffusion v1 berbeda dari Stable Diffusion v2?
Stable Diffusion 2.0 menyertakan sejumlah peningkatan dan fitur yang signifikan dibandingkan versi sebelumnya, jadi mari kita lihat.
Grafik Stable Diffusion Rilis 2.0 menampilkan model text-to-image yang kuat yang dilatih dengan encoder teks baru (OpenCLIP) yang dikembangkan oleh LAION dengan bantuan dari Stability AI, yang secara signifikan meningkatkan kualitas dari gambar yang dihasilkan lebih dari rilis V1 sebelumnya. Model text-to-image rilis ini dapat menampilkan gambar dengan resolusi default 512×512 piksel dan 768×768 piksel.
Model ini dilatih menggunakan subset estetika dari dataset LAION-5B yang dihasilkan oleh Stability AItim DeepFloyd, yang kemudian difilter untuk mengecualikan konten dewasa menggunakan filter NSFW LAION.
Evaluasi menggunakan 50 langkah sampel DDIM, 50 skala panduan bebas pengklasifikasi, dan 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, dan 8.0 menunjukkan perbaikan relatif dari pos pemeriksaan:
Stable Diffusion 2.0 kini menggunakan model Difusi Upscaler, yang meningkatkan resolusi gambar sebanyak empat kali lipat. Contoh model kami upscaling gambar yang dihasilkan berkualitas rendah (128×128) menjadi gambar beresolusi lebih tinggi ditunjukkan di bawah (512×512). Stable Diffusion 2.0, jika digabungkan dengan model teks-ke-gambar kami, kini dapat menghasilkan gambar dengan resolusi 2048×2048 atau lebih tinggi.
Dipandu kedalaman baru stable diffusion model, depth2img, memperluas fitur gambar-ke-gambar sebelumnya dari V1 dengan kemungkinan kreatif yang sama sekali baru. Depth2img menentukan kedalaman gambar input (menggunakan model yang ada) dan kemudian menghasilkan yang baru gambar berdasarkan teks dan informasi kedalaman. Depth-to-Image dapat memberikan banyak aplikasi kreatif baru, menawarkan perubahan yang tampak sangat berbeda dari aslinya sambil tetap mempertahankan koherensi dan kedalaman gambar.
Apa yang baru di Stable Diffusion 2?
- Baru stable diffusion model menawarkan resolusi 768×768.
- U-Net memiliki jumlah parameter yang sama dengan versi 1.5, tetapi dilatih dari awal dan menggunakan OpenCLIP-ViT/H sebagai penyandi teksnya. Yang disebut model prediksi-v adalah SD 2.0-v.
- Model tersebut di atas telah disesuaikan dari basis SD 2.0, yang juga tersedia dan dilatih sebagai model prediksi derau tipikal pada gambar 512×512.
- Model difusi terpandu teks laten dengan penskalaan x4 telah ditambahkan.
- SD 2.0-base depth-guided yang disempurnakan stable diffusion model. Model ini dapat digunakan untuk img2img yang mempertahankan struktur dan sintesis kondisional bentuk dan dikondisikan pada perkiraan kedalaman monokuler yang disimpulkan oleh MiDaS.
- Model pengecatan berpemandu teks yang disempurnakan dibangun di atas fondasi SD 2.0.
Pengembang bekerja keras, seperti iterasi awal Stable Diffusion, untuk mengoptimalkan model agar berjalan pada satu GPU—mereka ingin membuatnya dapat diakses oleh sebanyak mungkin orang sejak awal. Mereka telah melihat apa yang terjadi ketika jutaan orang mendapatkan model ini dan bekerja sama untuk membangun hal-hal yang benar-benar luar biasa. Inilah kekuatan open source: memanfaatkan potensi besar dari jutaan orang berbakat yang mungkin tidak memiliki sumber daya untuk melatih model mutakhir tetapi memiliki kemampuan untuk melakukan hal-hal luar biasa dengannya.
Pembaruan baru ini, dikombinasikan dengan fitur-fitur baru yang canggih seperti depth2img dan kemampuan peningkatan resolusi yang lebih baik, akan berfungsi sebagai dasar untuk banyak aplikasi baru dan memungkinkan ledakan potensi kreatif baru.
Baca lebih lanjut tentang Stable Diffusion:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
