Text-to-3D: Google ได้พัฒนาโครงข่ายประสาทเทียมที่สร้างแบบจำลอง 3 มิติจากคำอธิบายข้อความ
ในบทสรุป
ข้อความเป็น 3 มิติ โครงข่ายประสาทเทียมสามารถสร้างโมเดล 3 มิติจากข้อความได้
DreamFusion ปรับฉาก 3 มิติให้เหมาะสมตาม Imagen text-to-image
สามารถใช้แบบจำลองการแพร่กระจาย 2 มิติสำหรับการสังเคราะห์ข้อความเป็นภาพ
Google สร้าง เครือข่ายประสาท สามารถสร้างโมเดล 3 มิติจากคำอธิบายข้อความ ส่วนที่ดีที่สุดคือส่วนที่ยากที่สุดไม่จำเป็นต้องสอนด้วยซ้ำ Imagen ใช้เป็นรากฐานสำหรับ Text-to-3D
สิ่งที่คุณควรรู้เกี่ยวกับ ดรีมฟิวชั่น?
แบบจำลองการแพร่กระจายที่ได้รับการฝึกฝนในคู่ข้อความภาพหลายพันล้านคู่ได้นำไปสู่ความก้าวหน้าล่าสุดในการสังเคราะห์ข้อความเป็นรูปภาพ การปรับแนวทางนี้ให้เข้ากับการสังเคราะห์ 3 มิติจะทำให้จำเป็นต้องมีชุดข้อมูลขนาดใหญ่ของสินทรัพย์ 3 มิติที่ติดฉลาก รวมถึงสถาปัตยกรรมข้อมูล 3 มิติแบบ denoising ที่มีประสิทธิภาพ ซึ่งทั้งสองอย่างนี้ยังไม่มีให้ใช้งาน ในบทความนี้ เราก้าวข้ามข้อจำกัดเหล่านี้โดยทำการสังเคราะห์ข้อความเป็น 3 มิติด้วย 2 มิติที่ได้รับการฝึกฝนไว้ล่วงหน้า การแพร่กระจายข้อความเป็นรูปภาพ แบบอย่าง. เรานำเสนอการสูญเสียตามการกลั่นความหนาแน่นของความน่าจะเป็นที่อนุญาตให้ใช้แบบจำลองการแพร่กระจายแบบ 2 มิติเป็นแบบจำลองก่อนหน้าสำหรับการปรับพาราเมตริกให้เหมาะสม เครื่องกำเนิดภาพ. เมื่อใช้การสูญเสียนี้ เราใช้การไล่ระดับสีเพื่อปรับโมเดล 3 มิติที่เริ่มต้นแบบสุ่มให้เหมาะสม (สนาม Neural Radiance หรือ NeRF) เพื่อให้การเรนเดอร์ 2 มิติจากมุมสุ่มมีการสูญเสียน้อยที่สุด
โมเดล 3 มิติที่สร้างขึ้นของข้อความที่ระบุสามารถดูได้จากทุกมุม ส่องสว่างด้วยแสงที่ปรับเปลี่ยนได้ และประกอบเข้ากับสภาพแวดล้อม 3 มิติใดก็ได้ วิธีการของมันไม่ต้องการข้อมูลการฝึกอบรม 3D และไม่มีการเปลี่ยนแปลงใดๆ แบบจำลองการแพร่กระจายภาพแสดงให้เห็นถึงประสิทธิภาพของการใช้แบบจำลองการแพร่กระจายภาพที่ฝึกไว้ล่วงหน้าเหมือนก่อนหน้านี้
ตัวอย่างของ 3D ที่สร้างจากข้อความ
การนำสิ่งของมาประกอบกันเพื่อสร้างฉาก
มันทำงานอย่างไร?
DreamFusion ปรับฉาก 3 มิติให้เหมาะสมตามคำบรรยายโดยใช้โมเดลการสร้างข้อความเป็นรูปภาพของ Imagen แนะนำการสุ่มตัวอย่างการกลั่นด้วยคะแนน (SDS) ซึ่งเกี่ยวข้องกับการปรับฟังก์ชันการสูญเสียให้เหมาะสมเพื่อผลิตตัวอย่างจากแบบจำลองการแพร่กระจาย ตราบเท่าที่เราสามารถแมปกลับไปที่ภาพต่างๆ ได้ SDS ช่วยให้เราสามารถปรับแต่งตัวอย่างในพื้นที่พารามิเตอร์ใดก็ได้ เช่น พื้นที่ 3 มิติ ถึง defiในการแมปที่สร้างความแตกต่างได้นี้ จะใช้การกำหนดพารามิเตอร์ฉาก 3 มิติที่คล้ายกับ Neural Radiance Fields หรือ NeRF SDS เพียงอย่างเดียวสร้างรูปลักษณ์ของฉากที่พอใช้ได้ แต่ DreamFusion ปรับปรุงรูปทรงเรขาคณิตด้วย Regularizers และเทคนิคการเพิ่มประสิทธิภาพพิเศษ NeRF ที่ผ่านการฝึกอบรมซึ่งผลิตขึ้นมีความสอดคล้องกัน มีบรรทัดฐาน รูปทรงเรขาคณิตของพื้นผิว และความลึกที่ยอดเยี่ยม และสามารถปรับแต่งใหม่ได้โดยใช้แบบจำลองการแรเงาของ Lambertian
อ่านบทความที่เกี่ยวข้อง:
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
บทความอื่น ๆ
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
