Nvidia mengumumkan eDiff-I: AI generatif baharu untuk sintesis teks dan imej dengan pemindahan gaya segera
Secara ringkas
Nvidia melancarkan eDiff-I untuk membantu perniagaan mencipta imej yang berkualiti tinggi dan menarik
Teknik eDiff-I kerap menghasilkan kualiti sintesis yang lebih baik daripada DALL-E2 dan Stable diffusion
eDiff-I ialah alat penciptaan kandungan AI baharu yang menyediakan keupayaan sintesis teks-ke-imej yang tidak pernah berlaku sebelum ini untuk pemasar dan perniagaan, seperti yang diumumkan baru-baru ini oleh Nvidia. Dengan eDiff-I, perniagaan boleh dengan cepat dan mudah mencipta visual berkualiti tinggi dan menarik tanpa memerlukan peralatan mahal atau bantuan profesional. eDiff-I menggunakan pemprosesan bahasa semula jadi (NLP) untuk mentafsir input pengguna dan menjana imej yang sepadan. AI kemudian menganalisis imej dan memilih yang paling sesuai berdasarkan konteks. Hasilnya ialah imej berkualiti tinggi dan kelihatan profesional yang boleh digunakan untuk pelbagai tujuan, seperti bahan pemasaran, siaran media sosial, kempen e-mel dan banyak lagi.
eDiff-I ialah a AI generasi akan datang alat penciptaan kandungan yang menyediakan belum pernah terjadi sebelumnya teks ke imej sintesis, pemindahan gaya pantas dan lukisan intuitif dengan perkataan. Sebagai model resapan untuk mencipta visual daripada teks, eDiff-I mencadangkan melatih ensemble rangkaian denoising pakar, masing-masing khusus untuk selang hingar tertentu, sebagai tindak balas kepada penemuan empirikal bahawa kelakuan model resapan berbeza-beza pada fasa pensampelan yang berbeza.
Benam teks T5, benam imej CLIP dan benam teks CLIP menyediakan asas untuk konsep eDiff-I. Metodologi ini boleh menghasilkan grafik fotorealistik sebagai tindak balas kepada sebarang pertanyaan teks.
Ia membentangkan dua keupayaan tambahan sebagai tambahan kepada sintesis teks ke imej: (1) pemindahan gaya, yang membolehkan kami mengawal gaya sampel yang dijana menggunakan imej gaya rujukan, dan (2) "Lukis dengan Perkataan," alat yang membolehkan pengguna mencipta imej dengan melukis peta pembahagian pada kanvas.
Saluran paip ini terdiri daripada lata tiga model resapan: model asas yang boleh mencipta sampel dengan resolusi 64×64 dan dua tindanan super-resolusi yang boleh meningkatkan sampel secara beransur-ansur kepada resolusi 256×256 dan 1024×1024, masing-masing. Model mengira T5 XXL dan pembenaman teks selepas menerima kapsyen sebagai input. Pembenaman gambar ini boleh digunakan sebagai vektor gaya. Kemudian, masukkan benam ini ke dalam lata kami model penyebaran, yang secara beransur-ansur menghasilkan imej dengan resolusi 1024 x 1024.
Pendekatan eDiff-I secara konsisten menghasilkan kualiti sintesis yang lebih baik jika dibandingkan dengan algoritma teks-ke-imej sumber terbuka (Stable diffusion) dan (DALL-E2).
Apabila benam imej CLIP digunakan, pendekatan eDiff-I memudahkan pemindahan gaya. eDiff-I mula-mula mengekstrak CLIP benam imej daripada imej gaya rujukan, yang boleh digunakan sebagai vektor rujukan gaya. Rujukan gaya boleh dilihat dalam rajah di bawah panel kiri. Hasil apabila pelaziman gaya dihidupkan dipaparkan dalam panel tengah. Hasil apabila pelaziman gaya dimatikan dipaparkan dalam panel di sebelah kanan. Apabila pelaziman gaya digunakan, model eDiff-I mencipta output yang benar kepada gaya kapsyen input juga. Apabila pelaziman gaya dimatikan, foto yang kelihatan semula jadi dihasilkan.
Dengan memilih frasa dan mencoretnya pada imej, pengguna kaedah eDiff-I boleh menukar peletakan perkara yang disenaraikan dalam gesaan teks. Selepas itu, model menggunakan gesaan dan peta untuk mencipta imej yang serasi dengan kedua-dua kapsyen dan peta input.
Baca artikel berkaitan:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
