TextMesh: חדש Stable Diffusion-מודל מבוסס טקסט לתלת מימד מגוגל
בקיצור
TextMesh היא יצירת טקסט לתלת-ממד חדשה מבית גוגל המשפרת את גישת השימוש האופנתית כעת Stable Diffusion כדי ליצור זוויות שונות של אותה הנחיה בסיסית (תמונה דו-ממדית) ואז מרכיבים מזה רשת תלת-ממדית באמצעות NeRF.
לאחרונה, היכולת ליצור תמונות דו-ממדיות מהודעות טקסט זכתה להצלחה רבה בשל עבודתם של מודלים של יצירת תמונות מפוזרות. מודלים אלה מסוגלים מאוד לייצר דוגמאות תמונה באיכות גבוהה בהינתן הנחיה טקסט, מה שמאפשר ממשק פשוט של טקסט לתמונה. בהתבסס על ההתקדמות הללו בתחום יצירת תמונות 2D, השאלה הגדולה בתעשייה זו היא האם ניתן ליישם מודלים דומים של דיפוזיה כדי ליצור מודלים 2D מטקסט.
ועכשיו גוגל הציגה שיטת טקסט לתלת-ממד חדשה עם השם המלוטש TextMesh. שיטה זו מבטיחה לשפר את הגישה האופנתית כעת של Stable Diffusionמבוסס מודל טקסט לתלת מימד דוֹר. בבסיסו, זוויות מרובות נוצרות על ידי הזנת קלט דו-ממדי בסיסי לתוך המודל. לאחר מכן התוצאות מעובדות ומוטמעות לרשת תלת מימדית באמצעות גישת שדות הקרינה העצבים (NeRF).
היתרונות של גישה חדשנית זו על פני DreamFusion ו-CLIPMesh הטרנדיים כיום הם, בראש ובראשונה, הפלט הידידותי למשתמש. במקום להשתמש בפורמט NeRF המאתגר, TextMesh מספק רשת תלת מימדית עם טקסטורות, ובכך הופך אותה להרבה יותר ישימה לשימושים בעולם האמיתי. בנוסף, הגישה נמנעת מהשפעת הרוויה הגבוהה של מודלים אחרים ומצליחה להגדיל פרטים.
השמיים המודל עובד על ידי יצירת רשת תלת מימדית מתמונת קלט בעזרת NeRF. לאחר מכן התוצאות עוברות דרך מסגרת SDF (Signed Distance Fields) כדי לחדד עוד יותר את המרקם, ולשפר את הבהירות הכוללת של רשת הפלט. שלא לדבר על כך, מסגרת ה-SDF עוזרת למנוע את אפקט רווית היתר של תלת מימד אחר מודלים בדרך כלל סובלים.
רשתות תלת מימד שנוצרו כדוגמה
גישה זו מנצלת את ההצלחה של דגמי DiG ומרחיבה את רשתות NeRF להתבססות על עמוד שדרה של SDF. זה מייצר יכולות חילוץ 3D משופרות ורשתות 3D בעלות מראה מציאותי הרבה יותר בהשוואה לשיטות שנדונו קודם לכן.
התוצאות מהשימוש ב- TextMesh משכנעות ביותר. המחברים אפילו מספקים קישור לתמונה של סנאי שנוצר באמצעות הדגם שלהם, וזה לא פחות ממרשים.
TextMesh מוכיח את עצמו כדגם תלת מימד חדש ומהפכני המציע שפע של יתרונות ויכול לייצר רשתות תלת מימד מציאותיות ביותר. השימוש בו עתיד להפוך לפופולרי יותר ויותר בעתיד הקרוב.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
