Stability AI"S Stable Diffusion 2 האלגוריתם הוא סוף סוף ציבורי: דגם depth2img חדש, יוקרתי ברזולוציה גבוהה, ללא תוכן למבוגרים
בקיצור
Stable Diffusion מודל 2.0 מהיר יותר, קוד פתוח, ניתן להרחבה, חזק יותר מהקודם
Stable Diffusion מקבל GPU מוכן עם תכונות חדשות לעיבוד בזמן אמת
מונחה עומק stable diffusion מודל - תמונה לתמונה עם רעיונות חדשים ליישומים יצירתיים
Stability AI יש ל שוחרר מאמר חדש בבלוג שלו על Stable Diffusion 2. בתוכו, Stability AI מציע אלגוריתם חדש, יעיל וחזק יותר מהקודם, תוך השוואת ביצועים מול שיטות מתקדמות אחרות.
המקורי של CompVis Stable Diffusion דגם V1 חוללה מהפכה טבעו של קוד פתוח דגמי AI וייצר מאות דגמים וחידושים שונים ברחבי העולם. היא ראתה את אחת העליות המהירות ביותר ל-10,000 כוכבי Github, וצברה 33,000 בפחות מחודשיים, מהר יותר מיותר תוכניות ב-Github.
המקורי Stable Diffusion שחרור V1 הובל על ידי הצוות הדינמי של רובין רומבך (Stability AI) ופטריק איסר (Runway ML) מקבוצת CompVis ב-LMU מינכן, בראשות פרופ' ד"ר Björn Ommer. הם בנו על העבודה הקודמת של המעבדה עם Latent דגמי דיפוזיה וקיבל תמיכה קריטית מ-LAION ו-Eleuther AI.
מה שעושה Stable Diffusion v1 שונה מ Stable Diffusion v2?
Stable Diffusion 2.0 כולל מספר שיפורים ותכונות משמעותיות לעומת הגרסה הקודמת, אז בואו נסתכל עליהם.
השמיים Stable Diffusion גרסה 2.0 כוללת מודלים חזקים של טקסט לתמונה שהוכשרו עם מקודד טקסט חדש (OpenCLIP) שפותח על ידי LAION בסיוע מ- Stability AI, מה שמשפר משמעותית את איכות ה תמונות שנוצרו על מהדורות V1 קודמות. דגמי הטקסט לתמונה של מהדורה זו יכולים להפיק תמונות ברזולוציות ברירת מחדל של 512×512 פיקסלים ו-768×768 פיקסלים.
מודלים אלה מאומנים באמצעות תת-קבוצה אסתטית של מערך הנתונים LAION-5B שנוצר על ידי Stability AIצוות DeepFloyd של DeepFloyd, אשר לאחר מכן מסונן כדי לא לכלול תוכן למבוגרים באמצעות מסנן NSFW של LAION.
הערכות תוך שימוש ב-50 שלבי דגימת DDIM, 50 סולמות מנחים ללא מסווג ו-1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 ו-8.0 מצביעות על שיפורים יחסיים של המחסומים:
Stable Diffusion 2.0 משלב כעת דגם Upscaler Diffusion, המגדיל את רזולוציית התמונה בפקטור של ארבע. דוגמה לדגם שלנו - תמונה שנוצרה באיכות נמוכה (128×128) לתמונה ברזולוציה גבוהה יותר מוצגת למטה (512×512). Stable Diffusion 2.0, בשילוב עם דגמי הטקסט לתמונה שלנו, יכול כעת ליצור תמונות ברזולוציות של 2048×2048 ומעלה.
מונחה העומק החדש stable diffusion מודל, depth2img, מרחיב את התכונה הקודמת של תמונה לתמונה מ-V1 עם אפשרויות יצירתיות חדשות לגמרי. Depth2img קובע את העומק של תמונת קלט (באמצעות מודל קיים) ולאחר מכן יוצר חדש תמונות מבוסס הן על הטקסט והן על מידע העומק. Depth-to-Image יכול לספק שפע של יישומים יצירתיים חדשים, המציעים שינויים שנראים שונים באופן משמעותי מהמקור תוך שמירה על הקוהרנטיות והעומק של התמונה.
מה חדש ב Stable Diffusion 2?
- DELETE THIS stable diffusion מודל מציע רזולוציה של 768×768.
- ל-U-Net יש אותה כמות פרמטרים כמו גרסה 1.5, אבל הוא מאומן מאפס ומשתמש ב-OpenCLIP-ViT/H כמקודד הטקסט שלו. מה שנקרא מודל חיזוי v הוא SD 2.0-v.
- הדגם שהוזכר לעיל הותאם מבסיס SD 2.0, אשר זמין גם הוא והוכשר כדגם חיזוי רעש טיפוסי בתמונות 512×512.
- נוסף מודל דיפוזיה מונחה טקסט סמוי עם קנה מידה x4.
- מונחה עומק מעודן SD 2.0 stable diffusion מודל. ניתן להשתמש במודל לשימור מבנה של img2img וסינתזה מותנית צורה והוא מותנה בהערכות עומק מונוקולריות שנגזרו על ידי MiDaS.
- מודל ציור מונחה טקסט משופר הבנוי על בסיס SD 2.0.
המפתחים עבדו קשה, בדיוק כמו האיטרציה הראשונית של Stable Diffusion, כדי לייעל את המודל כך שיפעל על GPU יחיד - הם רצו להנגיש אותו לכמה שיותר אנשים מההתחלה. הם כבר ראו מה קורה כשמיליוני אנשים שמים את ידיהם על המודלים האלה ומשתפים פעולה כדי לבנות דברים יוצאי דופן לחלוטין. זהו כוחו של הקוד הפתוח: ניצול הפוטנציאל העצום של מיליוני אנשים מוכשרים שאולי אין להם את המשאבים להכשיר מודל חדשני אבל יש להם את היכולת לעשות דברים מדהימים עם אחד כזה.
עדכון חדש זה, בשילוב עם תכונות חדשות עוצמתיות כמו depth2img ויכולות העלאת קנה מידה ברזולוציה טובות יותר, ישמשו כבסיס לשפע של יישומים חדשים ויאפשרו פיצוץ של פוטנציאל יצירתי חדש.
קרא עוד על Stable Diffusion:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
