מיקרוסופט אילצה את ה-LLMs לשכוח מהארי פוטר
מיקרוסופט חשפה שיטה על הנחיה למודלים של שפה גדולה (LLMs) לשכוח מידע ספציפי בתוך מערכי הנתונים שלהם מבלי לדרוש שחזור מלא של נתוני ההדרכה. שיטה זו פותחת אפשרויות חדשות לשיפור LLMs ואפשרות לפתור בעיות משפטיות הקשורות לתוכן המוגן בזכויות יוצרים.
הצוות של מיקרוסופט הדגים לאחרונה כיצד הם הצליחו ליצור את Llamaמודל -2 תשכח את הפרטים של ספרי הארי פוטר מבלי להשפיע על נתונים אחרים בנתוני האימון של המודל או על הביצועים הכוללים של המודל במחקר המתואר בדף פרויקט המחקר שלהם.
התהליך מתחיל בזיהוי של מידע ספציפי בתוך מערך הנתונים של המודל שצריך לשכוח. במקרה זה, מדובר בפרטים הקשורים לסדרה האיקונית של ג'יי קיי רולינג, כולל פרטי עלילה, שמות דמויות וציטוטים מפורסמים. אלה הוחלפו לאחר מכן באופן שיטתי בביטויים גנריים, לא קשורים.
לאחר מכן השתמשו החוקרים במודל שפה כדי ליצור מידע חדש על סמך נתונים גנריים אלה. הנתונים הטריים האלה שימשו לאחר מכן כדי להכשיר מחדש את המקור Llama-2 דגם בהדרגה. עם כל צעד, הדוגמנית התרחקה מספרי הארי פוטר עד שהחלה לייצר תגובות הזויות כשנשאלה עליהן.
תכונה בולטת אחת של גישה זו היא שהיא אינה מתפשרת על הביצועים הכלליים של הדגם. המשמעות היא שבעוד שה-LLM הופך יותר ויותר שכחני לגבי נתונים ספציפיים, יכולות השפה הכוללות שלו נשארות ללא פגע.
למרות העובדה שגישה זו עדיין מתעדנת, השלכותיה רחבות היקף. במצבים הכוללים תביעות משפטיות ובעיות זכויות יוצרים, בפרט, זה עשוי לספק חבל הצלה למי שיוצר LLMs ומודלים אחרים של AI.
החידוש הזה מגיע בזמן שבו מחלוקות משפטיות על השימוש בתוכן המוגן בזכויות יוצרים במודלים של AI נמצאים במגמת עלייה. לדוגמה, ה"ניו יורק טיימס" דרש לאחרונה את ההסרה של פרסומיו מ- GPT-4 מערך נתונים. במקרה של הצלחה אתגר משפטי, מפתחים יצטרכו בדרך כלל לשחזר את מערכי הנתונים של המודל שלהם, תהליך שגוזל זמן ועתיר משאבים. השיטה של מיקרוסופט, אם תשוכלל ותאמץ עוד יותר, תוכל לספק פתרון יעיל לאתגרים כאלה.
השיטה של מיקרוסופט לשכוח באופן סלקטיבי מידע ספציפי בתוך מודלים של שפה גדולה (לימודי תואר שני) מהווה פריצת דרך משמעותית בפיתוח בינה מלאכותית, שעשוי לטפל בבעיות תוכן המוגן בזכויות יוצרים ולייעל חידוד. ניתן ליישם גישה זו בתחומים שונים, תוך הדגמה של פיתוח ויישום בינה מלאכותית אחראית.
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
