מומחים מזהירים מפני 'הוספות זדוניות' לתוך מערכי נתונים של AI ב ChatGPT
בקיצור
ChatGPT הוא פוטנציאלי פגיע בשל נתוני ההדרכה.
לפי חוקרים, תמורת 60 דולר בלבד בארה"ב, נוכל להרעיל 0.01% ממערכי הנתונים של LAION-400 או COYO-700 ב-2022.
ChatGPT הטכנולוגיה הופכת פופולרית יותר ויותר, אך לאחרונה מחקר מצביע על כך שטכנולוגיה זו עשויה להיות פגיעה בשל נתוני ההדרכה שהיא משתמשת בה. ככל שהמודלים הופכים מורכבים יותר ומערכות הנתונים הופכות לגדולות ומורכבות יותר, גורמים זדוניים עלולים לנצל את הפגיעות הזו כדי לתמרן את מערכי הנתונים ולגרום למודלים של למידת מכונה לייצר תוצאות לא מדויקות.
החשש העיקרי הוא שמסדי נתונים של צ'אטבוטים הם לרוב מערכי נתונים "מאומתים על תנאי", כלומר ישנה רמה מסוימת של אמון בנתונים ללא אימות מקיף. במילים אחרות, למערכי נתונים אלה עשויות להיות בעיות בסיסיות שלא נלקחו בחשבון. למרות שלעתים קרובות לא מבוצע תיקוף של מערכי נתונים עקב גודלם הגדול, קיים פוטנציאל לגורמים זדוניים לתמרן נתונים אלו.
למעשה, חוקרים הציעו שעד 2022, התוקפים יכולים להוציא סכום משוער של 60 דולר כדי להרעיל 0.01% ממערכות הנתונים LAION-400 או COYO-700. למרות שזה לא נשמע כמו הרבה, שחקנים זדוניים עלולים להשתמש בנתונים המורעלים האלה למען הרווח שלהם אם לא ייבדקו. הנתונים הזדוניים יכולים בסופו של דבר לדלוף לתוך מערכי נתונים גדולים יותר, משחית את איכות הנתונים ומוביל למודלים לא אמינים של למידת מכונה.
יש צורך לנקוט בצעדים כדי להגן על מסדי נתונים מפני נתונים זדוניים. צבירת מספר מקורות נתונים אמורה להפוך לסטנדרט עבור צ'אטבוט מערכי נתונים להדרכה כדי להבטיח שהנתונים אמינים ומדויקים. בנוסף, חברות צריכות להתנסות עם מערכי נתונים כדי להבטיח שהן אינן פגיעות לגורמים זדוניים.
AI Chatbots עם קוד זדוני עלולים להיות פגיעים לפריצה
האיום של קוד זדוני בצ'אטבוטים יכול להיות רציני למדי; ניתן להשתמש בקוד זדוני כדי לגנוב נתוני משתמש, לאפשר גישה זדונית לשרתים ולאפשר פעילויות זדוניות כגון הלבנת כספים או חילוץ נתונים. אם צ'אטבוט בינה מלאכותית מאומן על נתונים עם הוספות זדוניות, הוא עלול להחדיר ללא מודע את הקוד הזדוני לתגובות שלו ולשמש ללא ידיעתו ככלי לרווח זדוני.
שחקנים זדוניים יכולים לנצל את הפגיעות הזו על ידי הכנסת קוד זדוני בכוונה או בשוגג. נתוני אימונים. בנוסף, מכיוון שצ'אטבוטים של AI לומדים מהנתונים שהם מוצגים איתם, הדבר עלול גם להוביל ללמידת תגובות שגויות או אפילו התנהגות זדונית.
סכנה נוספת שעומדת בפני צ'אטבוטים של AI היא זו של "התאמת יתר". זה כאשר מודלים של חיזוי מאומנים מקרוב מדי על הנתונים שניתנו להם, ובכך מובילים לתחזיות גרועות כאשר מוצגים עם נתונים חדשים. זו יכולה להיות בעיה מסוימת כמו צ'אט בוטים של AI מאומנים על קוד זדוני עלולים להיות יעילים יותר בהחדרת קוד זדוני לתגובות שלהם ככל שהם יכירו את הנתונים יותר.
חיוני להיות מודע לסיכונים ולנקוט באמצעי זהירות כדי להבטיח את נתוני ההדרכה המשמשים ללמד ChatGPT מאובטח ואמין כדי למנוע חולשות פוטנציאליות אלו. גם הנתונים הראשוניים המשמשים לאימון חייבים להישמר נפרדים וייחודיים; הקידום של "הוספות זדוניות" לא חייב להתנגש או לחפוף עם מקורות אחרים. יש לבחון ולהשוות לדומיינים אחרים אם "לכידת" מספר דומיינים מאושרים אפשריים כדי לאמת את הנתונים.
טכנולוגיית Chatbot מבטיחה לשנות את האופן שבו אנשים מנהלים דיונים אנושיים. אבל לפני שהוא יכול לממש את מלוא הפוטנציאל שלו, צריך לשפר אותו ולשמור עליו. ערכות נתונים עבור צ'אטבוטים צריכים להיבדק היטב ולהיות מוכנים להדוף שחקנים זדוניים. על ידי כך, נוכל להבטיח שננצל במלואו את הפוטנציאל של הטכנולוגיה ונמשיך לדחוף את הטכנולוגיה גבולות של בינה מלאכותית.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
