מיקרוסופט פרסמה מודל דיפוזיה שיכול לבנות אווטאר תלת מימד מתמונה בודדת של אדם
בקיצור
ניתן להשתמש בתמונה דו-ממדית אחת של פניו של אדם ליצירת אווטאר תלת-ממדי באמצעות טכניקת למידת מכונה של 2D Avatar Diffusion.
ניתן להשתמש בו כדי לספק תצוגה תלת מימדית מציאותית של האדם למשחקים או לשימושים אחרים, או לספק חווית מציאות מדומה (VR) או מציאות רבודה (AR).
ה-3D Avatar Diffusion הוא אלגוריתם למידת מכונה שיכול לצלם תמונה דו-ממדית אחת של פנים אנושיות וליצור אווטאר תלת מימדי (2D). לאחר מכן, האווטאר יכול לשמש ליצירת חווית מציאות מדומה (VR) או מציאות רבודה (AR) או פשוט לספק תצוגה תלת-ממדית מציאותית של האדם למטרות משחק או אחרות.
מודל הדיפוזיה היה מפותח על ידי צוות חוקרים ב-Microsoft Research ומתואר במאמר שפורסם בכתב העת arXiv.
התפשטות האווטאר התלת-ממדית מבוססת על סוג של אלגוריתם למידת מכונה הנקרא מודל דיפוזיה. מודלים של דיפוזיה הם מודלים גנרטיביים, מה שאומר שהם יכולים ליצור נתונים חדשים הדומים לנתוני האימון. דגמי דיפוזיה שימשו בעבר ליצירת תמונות תלת-ממד מתמונות דו-ממדיות, אך ה-ADM הוא מודל הדיפוזיה הראשון שיכול ליצור אווטאר תלת-ממדי מציאותי מתמונה דו-ממדית אחת.
כדי לאמן את המודל, החוקרים השתמשו במערך נתונים של למעלה מ-200,000 מודלים תלת מימדיים. מערך הנתונים כלל מגוון רחב של פנים עם גווני עור, תסרוקות ותווי פנים שונים. לאחר מכן, ה-ADM היה מסוגל ללמוד את הקשר בין תמונת הדו-ממד למודל הפנים התלת-ממדי וליצור אווטאר תלת-ממדי מציאותי מתמונה דו-ממדית אחת.
הדגם יכול לשמש גם ליצירת אווטאר מתמונה שצולמה מזווית אחרת
מחקר זה מציע מודל יצירתי תלת מימדי שיוצר אוטומטית אווטרים דיגיטליים תלת מימדיים המיוצגים כשדות זוהר עצביים באמצעות מודלים של דיפוזיה. בגלל דרישות הזיכרון והעיבוד האסורות הקשורות לתלת-ממד, יצירת התכונות העשירות הנחוצות לאוואטרים באיכות גבוהה היא בעיה ענקית. מפתחים מציעים שרשת הדיפוזיה (Rodin) מטפלת בבעיה זו.
רשת זו מפרסמת מספר רב של מפות תכונות דו-ממדיות של שדה זוהר עצבי למישור תכונה דו-ממדי יחיד, כאשר המודל מבצע אז דיפוזיה מודעת ל-2D. מודל רודן משתמש בקונבולציה מודעה לתלת-ממד, אשר מטפלת בתכונות המוקרנות במישור התכונה הדו-ממדית בהתאם ליחס המקורי שלהן בתלת-ממד, כדי לספק את היעילות החישובית הנדרשת תוך שמירה על שלמות הדיפוזיה בתלת-ממד.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
