טקסט ל-SVG: ברקלי הכריזה על הפשטה של מודל דיפוזיה מבוסס פיקסלים
בקיצור
סינתזה של טקסט לתמונה - חוקרי UC Berkeley מדגימים גרפיקה וקטורית עם תנאי טקסט מודלים של דיפוזיה
בסינתזה של טקסט לתמונה, יש מודלים של דיפוזיה מופגן תוצאות יוצאות דופן. מודלים של דיפוזיה לומדים לייצר תמונות רסטר של אובייקטים ומצבים מגוונים ביותר באמצעות מסדי נתונים עצומים של תמונות מוערות. עם זאת, עבור סמלים דיגיטליים, גרפיקה ומדבקות, מעצבים משתמשים בדרך כלל בייצוגים וקטוריים של תמונות כמו גרפיקה וקטורית מדרגית (SVG). גרפיקה וקטורית קטנה וניתן להתאים אותה לכל גודל.
UC Berkeley מדגים כיצד לייצר גרפיקה וקטורית שניתן לייצא כ-SVG באמצעות מודל דיפוזיה מותנה בטקסט שהוכשר על ייצוגי פיקסלים של תמונה. הוא משיג זאת מבלי להשתמש באוספים נרחבים של SVGs עם כיתובים. במקום זאת, חוקרי ברקלי מדגימים את א פיזור טקסט לתמונה לדגום ולכוונן אותו עם אובדן Score Distillation Sampling, המוטיבציה מעבודה אחרונה על סינתזה של טקסט ל-3D.
וקטורים שנוצרו לדוגמה
בדוק את גלריית ה-SVG החדשה שנוצרה כאן.
גרפיקה וקטורית קטנה אך שומרת על החדות שלה כאשר משנים אותה לכל גודל. חוקרים ב-Berkeley משפרים אובדן של תמונה-טקסט על בסיס דגימת זיקוק ציונים כדי לייעל גרפיקה וקטורית. המעבד SVG הניתן להבדיל DiffVG, המשמש את VectorFusion, מאפשר חזותיים הפוכים.
בנוסף, VectorFusion מאפשרת תצורה רב-שלבית שהיא יעילה יותר ואיכותית יותר. שיטה זו מתחילה בלקיחת דגימות רסטר מה- מודל פיזור טקסט לתמונה נקרא Stable Diffusion. לאחר מכן עוקבים אחר הדגימות באופן אוטומטי על ידי VectorFusion באמצעות LIVE. דגימות אלו, עם זאת, לעתים קרובות חסרות פרטים, משעממות או שקשה להתאים אותן לגרפיקה וקטורית. שיפור החיוניות והעקביות הטקסטואלית באמצעות דגימת זיקוק ציונים.
VectorFusion יכולה לייצר פיקסלים בסגנון של משחקי וידאו ישנים על ידי הגבלת נתיבי SVG לריבועים ברשת.
גישה זו מורחבת בקלות כדי לתמוך ביצירת טקסט לסקיצה. על מנת ללמוד ציור קו מופשט המייצג במדויק את הטקסט שסופק על ידי המשתמש, אנו מציירים תחילה 16 קווים שנבחרו באקראי. לאחר מכן, אנו מייעלים את אובדן הדגימה הסמויה של ציון זיקוק.
קרא מאמרים קשורים:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
