Microsoft บังคับให้ LLM ลืมเรื่อง Harry Potter
ไมโครซอฟต์ได้เปิดเผยวิธีการ สำหรับการสั่งให้โมเดลภาษาขนาดใหญ่ (LLM) ลืมข้อมูลเฉพาะภายในชุดข้อมูลของตน โดยไม่ต้องมีการสร้างข้อมูลการฝึกอบรมขึ้นใหม่ทั้งหมด วิธีการนี้เปิดโอกาสใหม่ๆ ในการปรับปรุง LLM และอาจแก้ไขปัญหาทางกฎหมายที่เกี่ยวข้องกับเนื้อหาที่มีลิขสิทธิ์
ทีมงานของ Microsoft เพิ่งสาธิตวิธีที่พวกเขาสามารถสร้าง Llama-2 โมเดลลืมรายละเอียดของหนังสือ Harry Potter โดยไม่กระทบต่อข้อมูลอื่นในข้อมูลการฝึกของโมเดลหรือประสิทธิภาพโดยรวมของโมเดลในการศึกษาที่อธิบายไว้ในหน้าโครงการวิจัย
กระบวนการเริ่มต้นด้วยการระบุข้อมูลเฉพาะภายในชุดข้อมูลของแบบจำลองที่จำเป็นต้องลืม ในกรณีนี้ เป็นรายละเอียดที่เกี่ยวข้องกับซีรีส์อันโด่งดังของ JK Rowling รวมถึงเรื่องเฉพาะเรื่อง ชื่อตัวละคร และคำพูดที่มีชื่อเสียง จากนั้นจึงแทนที่สิ่งเหล่านี้อย่างเป็นระบบด้วยวลีทั่วไปที่ไม่เกี่ยวข้องกัน
จากนั้นนักวิจัยได้ใช้แบบจำลองภาษาเพื่อสร้างข้อมูลใหม่โดยอาศัยข้อมูลทั่วไปนี้ จากนั้นข้อมูลใหม่นี้จะถูกนำมาใช้เพื่อฝึกต้นฉบับใหม่ Llama-2 รุ่น ทีละน้อย ในแต่ละขั้นตอน โมเดลจะแยกตัวออกจากหนังสือแฮร์รี่ พอตเตอร์ จนกระทั่งเริ่มมีการตอบสนองที่ทำให้เกิดอาการประสาทหลอนเมื่อถูกถามเกี่ยวกับหนังสือเหล่านั้น
คุณลักษณะที่โดดเด่นประการหนึ่งของแนวทางนี้คือไม่กระทบต่อประสิทธิภาพโดยทั่วไปของโมเดล ซึ่งหมายความว่าแม้ว่า LLM จะลืมข้อมูลเฉพาะมากขึ้นเรื่อยๆ แต่ความสามารถด้านภาษาโดยรวมยังคงไม่เปลี่ยนแปลง
แม้ว่าแนวทางนี้จะยังคงได้รับการปรับปรุงให้ดีขึ้น แต่ความหมายของมันก็มีในวงกว้าง ในสถานการณ์ที่เกี่ยวข้องกับการเรียกร้องทางกฎหมายและปัญหาลิขสิทธิ์ โดยเฉพาะอย่างยิ่ง อาจช่วยชีวิตผู้ที่สร้าง LLM และโมเดล AI อื่นๆ
นวัตกรรมนี้เกิดขึ้นในช่วงเวลาที่ข้อพิพาททางกฎหมายเกี่ยวกับการใช้เนื้อหาที่มีลิขสิทธิ์ในโมเดล AI กำลังเพิ่มสูงขึ้น ตัวอย่างเช่น หนังสือพิมพ์นิวยอร์กไทมส์เพิ่งเรียกร้องให้ถอดถอน ของสิ่งพิมพ์จาก GPT-4 ชุดข้อมูล ในกรณีที่ประสบความสำเร็จ ความท้าทายทางกฎหมายโดยทั่วไปนักพัฒนาจะต้องสร้างชุดข้อมูลแบบจำลองขึ้นใหม่ ซึ่งเป็นกระบวนการที่ใช้เวลานานและใช้ทรัพยากรมาก วิธีการของ Microsoft หากได้รับการปรับปรุงและนำไปใช้เพิ่มเติม ก็สามารถให้โซลูชันที่มีประสิทธิภาพสำหรับความท้าทายดังกล่าวได้
วิธีการของ Microsoft ในการเลือกลืมข้อมูลเฉพาะภายในโมเดลภาษาขนาดใหญ่ (ปริญญามหาบัณฑิต) ถือเป็นความก้าวหน้าครั้งสำคัญในการพัฒนา AI ซึ่งอาจช่วยแก้ไขปัญหาเนื้อหาที่มีลิขสิทธิ์และปรับปรุงประสิทธิภาพให้ดีขึ้น แนวทางนี้สามารถนำไปใช้กับโดเมนต่างๆ ได้ ซึ่งแสดงให้เห็นถึงการพัฒนาและการประยุกต์ใช้ AI อย่างมีความรับผิดชอบ
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
บทความอื่น ๆ
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
