טקסט לתלת-ממד: גוגל פיתחה רשת עצבית המייצרת מודלים תלת-ממדיים מתיאורי טקסט
בקיצור
טקסט לתלת מימד רשת עצבית יכולה ליצור מודלים תלת מימדיים מטקסט
DreamFusion מבצע אופטימיזציה של סצנות תלת מימד על בסיס טקסט לתמונה של Imagen
ניתן להשתמש במודל דיפוזיה דו-ממדי עבור סינתזה של טקסט לתמונה
גוגל יצרה א רשת עצבית מסוגל ליצור מודלים תלת מימדיים מתיאורי טקסט. החלק הטוב ביותר הוא שאת ההיבט הקשה ביותר לא היה צורך אפילו ללמד. Imagen שימש כבסיס ל-Text-to-3D.
על מה כדאי לדעת DreamFusion?
מודלים של דיפוזיה שהוכשרו על מיליארדי זוגות תמונה-טקסט הובילו להתקדמות לאחרונה בסינתזה של טקסט לתמונה. התאמת גישה זו לסינתזה תלת-ממדית תחייב מערכי נתונים בקנה מידה גדול של נכסי תלת-ממד מתויגים וכן ארכיטקטורות נתונים תלת-ממדיות לניתור יעיל, שאף אחת מהן אינה זמינה כעת. במאמר זה, אנו מתגברים על מגבלות אלו על ידי ביצוע סינתזה של טקסט לתלת-ממד עם דו-ממד מאומן מראש פיזור טקסט לתמונה דֶגֶם. אנו מציגים הפסד המבוסס על זיקוק צפיפות הסתברות המאפשר שימוש במודל דיפוזיה דו-ממדי כקודם לייעול פרמטרי מחולל תמונות. באמצעות אובדן זה, אנו משתמשים בירידה בשיפוע כדי לבצע אופטימיזציה של מודל תלת-ממדי מאותחל באקראי (שדה ראנה עצבי או NeRF) כך שלעיבודים הדו-ממדיים שלו מזוויות אקראיות יהיה אובדן מינימלי.
ניתן לראות את מודל התלת-ממד שנוצר של הטקסט שצוין מכל זווית, להאיר בתאורה משתנה, ולחבר אותו לכל סביבה תלת-ממדית. השיטה שלה לא דורשת נתוני אימון תלת מימד וללא שינויים ב מודל פיזור תמונה, הממחיש את היעילות של שימוש במודלים של דיפוזיה של תמונה מאומנים מראש כמו קודם.
דוגמאות לתלת מימד שנוצר מטקסט
חיבור חפצים ליצירת סצנה
איך זה עובד?
DreamFusion מבצע אופטימיזציה של סצנה תלת מימדית בהתבסס על כיתוב באמצעות המודל המחולל טקסט לתמונה של Imagen. הוא מציע דגימת זיקוק ציון (SDS), הכוללת אופטימיזציה של פונקציית אובדן להפקת דגימות ממודל דיפוזיה. כל עוד אנחנו יכולים למפות חזרה לתמונות בצורה שונה, SDS מאפשר לנו לבצע אופטימיזציה של דוגמאות בכל מרחב פרמטר, כמו מרחב תלת מימדי. ל defiלא המיפוי הניתן להבדיל זה, הוא משתמש בפרמטריזציה של סצינה תלת-ממדית הדומה ל-Neural Radiance Fields או NeRFs. SDS לבדו יוצר מראה סצינה סביר, אבל DreamFusion משפר את הגיאומטריה עם מסדרים נוספים וטכניקות אופטימיזציה. NeRFs המאומנים המיוצרים הם קוהרנטיים, בעלי נורמליות מצוינות, גיאומטריית פני השטח ועומק, וניתן להדליק אותם מחדש באמצעות מודל הצללה למברטיאני.
קרא מאמרים קשורים:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
