XLM-V: שיטה חדשה של מודלים רב-לשוניים של שפות מסכות המנסה לטפל בבעיית צוואר הבקבוק של אוצר המילים
בקיצור
המאמר מעלה את הבעיה הבאה: מודלים של שפה עלייה בפרמטרים, גדלה לעומק, אבל אוצר המילים עדיין זהה בגודלו.
חוקרים מתחילים לאמן מודל חדש עם מיליון אסימונים מאוצר המילים בצורה בלתי צפויה.
החוקרים היו נחושים לראות איזה סוג של שיפור הם יכולים לעשות עם עלייה כה משמעותית באסימונים.
הנושא שהועלה על ידי ה מאמר הכותרת "XLM-V: Overcoming the Vocabulary Bottling in Multilingual Masked Language Models" הוא שכאשר הפרמטרים והעומק של מודלים של שפה גדלים, גודל אוצר המילים שלהם נשאר ללא שינוי. לדוגמה, למודל mT5 יש 13B פרמטרים אך אוצר מילים של 250K מילים התומך ביותר מ-100 שפות. לפיכך, לכל שפה יש כ-2,500 אסימונים ייחודיים, וזה כמובן מספר קטן מאוד.
איזו פעולה נוקטים המחברים? הם מתחילים לאמן מודל חדש עם מיליון אסימונים מאוצר המילים בצורה בלתי צפויה. XLM-R היה קיים בעבר, אולם עם השדרוג הזה, הוא יהפוך ל-XLM-V. הכותבים היו נחושים לראות איזה סוג של שיפור הם יכולים לעשות עם עלייה כה משמעותית באסימונים.
| כתבות קשורות: עלויות הדרכה של מודל בינה מלאכותית צפויות לעלות מ-100 מיליון דולר ל-500 מיליון דולר עד 2030 |
מה לגבי XLM-V הוא חדש ש-XLM-R לא?
השיפור מודלים רב לשוניים שיטת עם Language-Clustered Vocabularars משמשת לבניית וקטורי ייצוג מילוני לכל שפה באופן הבא: עבור כל שפה בקבוצת השפות, הם מרכיבים וקטור בינארי, שכל אלמנט שלו הוא מילה ספציפית בשפה. האחת מציינת שהמילה כלולה במילון השפה (ניתן להציג תמונה עם תיאור גרפי בקבצים המצורפים). עם זאת, על ידי יצירת וקטור תוך שימוש בהסתברות הלוגריתמית השלילית להתרחשות של כל לקסמה, המחברים משפרים את אופן יצירת הפניות .
- הווקטורים מקובצים לאחר מכן. בנוסף, מודל משפט מאומן על כל אשכול מסוים כדי לעצור את העברת אוצר המילים בין שפות לא קשורות מבחינה מילונית.
- ה-ALP מעריך את יכולתו של מילון לייצג שפה מסוימת.
- ניצול האלגוריתם ליצירה Ulm מילונים הוא השלב הבא. שמתחיל במילון ראשוני גדול ומקטין אותו בהדרגה עד שמספר האסימונים מתחת לסף מסוים לגודל המילון.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
