Text-to-SVG: Berkeley mengumumkan model difusi berbasis piksel abstrak
Singkatnya
Sintesis teks-ke-gambar – Peneliti UC Berkeley mendemonstrasikan grafik vektor dengan pengkondisian teks model difusi
Dalam sintesis teks-ke-gambar, model difusi memiliki menunjukkan hasil yang luar biasa. Model difusi belajar menghasilkan gambar raster dari objek dan situasi yang sangat beragam menggunakan basis data gambar beranotasi yang sangat besar. Namun, untuk ikon digital, grafik, dan stiker, desainer biasanya menggunakan representasi vektor dari gambar seperti Scalable Vector Graphics (SVGs). Grafik vektor berukuran kecil dan dapat diskalakan ke berbagai ukuran.
UC Berkeley mendemonstrasikan cara menghasilkan grafik vektor yang dapat diekspor sebagai SVG menggunakan model difusi terkondisi teks yang dilatih pada representasi piksel gambar. Ini menyelesaikan ini tanpa menggunakan koleksi SVG yang luas dengan teks. Sebaliknya, peneliti Berkeley membuat vektor a difusi teks-ke-gambar ambil sampel dan sempurnakan dengan Score Distillation Sampling loss, yang dimotivasi oleh pekerjaan terbaru pada sintesis teks-ke-3D.
Contoh vektor yang dihasilkan
Lihat galeri SVG yang baru dibuat di sini.
Grafik vektor berukuran kecil tetapi mempertahankan ketajamannya saat diskalakan ke ukuran apa pun. Para peneliti di Berkeley meningkatkan kehilangan gambar-teks berdasarkan Sampling Distilasi Skor untuk mengoptimalkan grafik vektor. Perender SVG yang dapat dibedakan DiffVG, yang digunakan oleh VectorFusion, memungkinkan visual terbalik.
Selain itu, VectorFusion memungkinkan konfigurasi multi-tahap yang lebih efektif dan berkualitas lebih tinggi. Metode ini dimulai dengan mengambil sampel raster dari model difusi teks-ke-gambar bernama Stable Diffusion. Sampel kemudian secara otomatis dilacak oleh VectorFusion menggunakan LIVE. Namun, sampel ini sering kali kurang detail, membosankan, atau sulit diadaptasi ke grafik vektor. Meningkatkan semangat dan konsistensi tekstual melalui Score Distillation Sampling.
VectorFusion dapat menghasilkan seni piksel dalam gaya video game lama dengan membatasi jalur SVG menjadi kotak pada kisi.
Pendekatan ini mudah diperluas untuk mendukung pembuatan teks-ke-sketsa. Untuk mempelajari gambar garis abstrak yang secara akurat mewakili teks yang disediakan pengguna, pertama-tama kita menggambar 16 goresan yang dipilih secara acak. Kemudian, kami mengoptimalkan kerugian Sampling Distilasi Skor laten kami.
Baca artikel terkait:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
