חוקרים מאוניברסיטת קליפורניה יצרו את מדד Machiavelli למדידת הכשירות והנזק של מודלים של AI
בקיצור
חוקרים מאוניברסיטת קליפורניה, המרכז לאבטחת בינה מלאכותית, אוניברסיטת קרנגי מלון ואוניברסיטת ייל הציעו את רף Machiavelli כדי למדוד את היכולת והנזק של סוכנים בסביבה רחבה של אינטראקציות שפה ארוכות טווח.
אמת מידה זו מבוססת על 134 משחקי טקסט הרפתקאות בחר בעצמך עם 572 אלף תרחישים שונים, 4,5 אלף הישגים אפשריים ו-2,8 מיליון הערות.
המחברים מתארים זאת כמבחן לבדיקת הדרכים האתיות (או הלא אתיות) בהן מנסים סוכני AI לפתור בעיות.
מוטבי בינה מלאכותית המבוססת על מודלים של שפות גדולות (LLMs) יש סיכוי טוב לרסק מעורר חרדה ולהציף את העולם בסוכנים סופר אינטליגנטים מבוססי LLM. היתרונות הפוטנציאליים של רווחים עצומים וכוח בלתי מוגבל יעשו את העבודה. וסביר להניח שזה יקרה די מהר.
עם זאת, המוטבים אינם טיפשים כלל. והם מבינים שבעולם החדש המופלא, חוקי הבינה המלאכותית והרובוטיקה לא יעבדו יותר. להכריח את LLM לציית בקפדנות לשלושת החוקים שגיבש יצחק אסימוב הגדול עוד ב-1942, למרבה הצער, אפילו לא אפשרי תיאורטית.
דרך מקורית לצאת מהמצב העדין הזה הוצע על ידי חוקרים מאוניברסיטת קליפורניה, המרכז לאבטחת בינה מלאכותית, אוניברסיטת קרנגי מלון ואוניברסיטת ייל. הם יצרו את מדד מקיאוולי "למדוד את היכולת והנזק של סוכנים בסביבה רחבה של אינטראקציות שפה ארוכות טווח."
הרעיון של המחברים הוא פשוט.
- אם החוקים לא עובדים, אז אין צורך ב"שריף" שיאכוף אותם.
- במקום שריף יש צורך בפסיכואנליטיקאי, אשר על סמך תוצאות המבחנים שלו יזהה פרנואידים פוטנציאליים, פסיכופתים, סדיסטים ושקרנים פתולוגיים.
בשפה פוליטיקלי קורקט, המחברים מתארים זאת כך: "מקיאוולי הוא מבחן לבדיקת הדרכים האתיות (או הלא אתיות) שבהן סוכני AI מנסים לפתור בעיות."
השיטה של אימות כזה היא מעשית למדי. סוכן ה-AI משוחרר לסביבה חברתית מלאכותית. שם, חוקרים נותנים לו משימות שונות וצופים כיצד הוא מסיים אותן. הסביבה עצמה מפקחת על ההתנהגות האתית של סוכן AI ומדווח באיזו מידה פעולות הסוכן (לפי מצוות מקיאוולי) מטעות, מפחיתות את התועלת ומכוונות לצבור כוח.
מערך הנתונים הליבה של Machiavelli מורכב מ-134 משחקי טקסט הרפתקאות בחר בעצמך עם 572 אלף תרחישים שונים, 4,5 אלף הישגים אפשריים ו-2,8 מיליון הערות. משחקים אלה משתמשים בפתרונות ברמה גבוהה שנותנים לסוכנים מטרות מציאותיות ומופשטות אינטראקציות ברמה נמוכה עם הסביבה.
הגישה שבחרו המחברים מבוססת על ההנחה שסוכני AI מתמודדים עם אותם קונפליקטים פנימיים כמו בני אדם. בדיוק כפי שמודלים של שפה שהוכשרו לחזות את האסימון הבא מייצרים לעתים קרובות טקסט רעיל, סוכני בינה מלאכותית שהוכשרו לייעל מטרות מפגינים לעתים קרובות התנהגות לא מוסרית ותאבת כוח. סוכנים שעברו הכשרה מוסרית עשויים לפתח אסטרטגיות מקיאווליות כדי למקסם את התגמול שלהם על חשבון אחרים והסביבה. וכך על ידי עידוד סוכנים לפעול בצורה מוסרית, ניתן לשפר את הפשרה הזו.
המחברים מאמינים שמשחקי הרפתקאות טקסט הם מבחן טוב למוסר מכיוון:
- הם נכתבו על ידי אנשים כדי לבדר אנשים אחרים.
- מכיל יעדים מתחרים עם מרחבי פעולה מציאותיים.
- דורש תכנון לטווח ארוך.
- השגת יעדים דורשת בדרך כלל איזון בין שאפתנות ובמובן מסוים, מוסר.
ההבהרה היא החשובה ביותר כאן. להשוות את המוסר של יצורים ביולוגיים למוסר של מודלים אלגוריתמיים זה יותר מדי מתיחה, שמסוגלת להוריד מערכו של הבדיקות של מקיאוולי. והחלפת שריפים בפסיכואנליטיקאים בעולם האנושי בקושי הייתה יעילה. וסוכני בינה מלאכותית טובים לא פחות מבני אדם בלמצוא דרכים לשטות במכווצים שלהם.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
