30+ דגמי השנאים המובילים בבינה מלאכותית: מה הם ואיך הם עובדים

שתף את המאמר הזה

• 
• 
• 
• 
• 

by דמיר יללוב

פורסם: 12 ביוני 2023 בשעה 6:52 עדכון: 12 ביוני 2023 בשעה 6:52 בבוקר

by קרולינה גאשץ'

נערך ונבדק עובדות: 12 ביוני 2023 בשעה 6:52 בבוקר

כדי לשפר את חוויית השפה המקומית שלך, לפעמים אנו משתמשים בתוסף תרגום אוטומטי. שימו לב שתרגום אוטומטי לא יהיה מדויק, אז קרא מְקוֹרִי מאמר למידע מדויק.

בחודשים האחרונים צצו מספר רב של דגמי רובוטריקים ב-AI, לכל אחד מהם שמות ייחודיים ולעתים משעשעים. עם זאת, ייתכן שהשמות האלה לא מספקים הרבה תובנות לגבי מה שהמודלים האלה עושים בפועל. מאמר זה נועד לספק רשימה מקיפה ופשוטה של ​​דגמי הרובוטריק הפופולריים ביותר. הוא יסווג את הדגמים הללו וגם יציג היבטים וחידושים חשובים בתוך משפחת הרובוטריקים. הרשימה העליונה תכסה מודלים שהוכשרו באמצעות למידה בפיקוח עצמי, כמו BERT או GPT-3, כמו גם מודלים שעוברים הכשרה נוספת עם מעורבות אנושית, כמו ה-InstructGPT מודל בשימוש על ידי ChatGPT.

מה הם רובוטריקים ב-AI?

רובוטריקים הם סוג של מודלים של למידה עמוקה שהוצגו במאמר מחקר בשם "תשומת הלב היא כל מה שאתה צריך" מאת חוקרי גוגל בשנת 2017. מאמר זה זכה להכרה עצומה, וצבר למעלה מ-38,000 ציטוטים בחמש שנים בלבד.

ארכיטקטורת ה-Transformer המקורית היא צורה ספציפית של דגמי מקודד-מפענחים שצברו פופולריות לפני הצגתה. מודלים אלה הסתמכו בעיקר על LSTM ווריאציות אחרות של רשתות עצביות חוזרות (RNNs), כאשר תשומת הלב היא רק אחד מהמנגנונים המשמשים. עם זאת, מאמר הרובוטריק הציע רעיון מהפכני לפיו תשומת לב יכולה לשמש כמנגנון הבלעדי לבסס תלות בין קלט לתפוקה.

בהקשר של רובוטריקים, הקלט מורכב מרצף של אסימונים, שיכולים להיות מילים או תתי מילים בעיבוד שפה טבעית (NLP). מילות משנה משמשות בדרך כלל במודלים של NLP כדי לטפל בבעיה של מילים מחוץ לאוצר המילים. הפלט של המקודד מייצר ייצוג ממד קבוע עבור כל אסימון, יחד עם הטבעה נפרדת עבור הרצף כולו. המפענח לוקח את הפלט של המקודד ומייצר רצף של אסימונים כפלט שלו.

מאז פרסום העיתון רובוטריק, דגמים פופולריים כמו ברט ו GPT אימצו היבטים של הארכיטקטורה המקורית, באמצעות רכיבי המקודד או המפענח. הדמיון המרכזי בין המודלים הללו טמון בארכיטקטורת השכבות, המשלבת מנגנוני תשומת לב עצמית ושכבות הזנה קדימה. ב-Transformers, כל אסימון קלט חוצה את הנתיב שלו דרך השכבות תוך שמירה על תלות ישירה עם כל אסימון אחר ברצף הקלט. תכונה ייחודית זו מאפשרת חישוב מקביל ויעיל של ייצוגי אסימון קונטקסטואלי, יכולת שאינה ישימה עם מודלים עוקבים כמו RNNs.

בעוד מאמר זה רק מגרד את פני השטח של ארכיטקטורת הרובוטריק, הוא מספק הצצה להיבטים הבסיסיים שלה. להבנה מקיפה יותר, אנו ממליצים להתייחס למאמר המחקר המקורי או לפוסט The Illustrated Transformer.

מה הם מקודדים ומפענחים ב-AI?

תאר לעצמך שיש לך שני דגמים, מקודד ומפענח, עבודה משותפת כמו צוות. המקודד לוקח קלט והופך אותו לוקטור באורך קבוע. לאחר מכן, המפענח לוקח את הווקטור הזה והופך אותו לרצף פלט. מודלים אלה מאומנים יחד כדי לוודא שהפלט תואם את הקלט הכי קרוב שאפשר.

גם למקודד וגם למפענח היו כמה שכבות. לכל שכבה במקודד היו שתי שכבות משנה: שכבת תשומת לב עצמית מרובת ראשים ורשת הזנה קדימה פשוטה. שכבת הקשב העצמית עוזרת לכל אסימון בקלט להבין את היחסים עם כל שאר האסימונים. לשכבות המשנה הללו יש גם חיבור שיורי ונורמליזציה של שכבה כדי להפוך את תהליך הלמידה לחלק יותר.

רב ראשי המפענח שכבת תשומת לב עצמית עובד קצת אחרת מזה שבמקודד. זה מסווה את האסימונים מימין לאסימון שהוא מתמקד בו. זה מבטיח שהמפענח מסתכל רק על האסימונים שמגיעים לפני זה שהוא מנסה לחזות. תשומת לב מרובת ראשים זו מסייעת למפענח ליצור תחזיות מדויקות. בנוסף, המפענח כולל שכבת משנה נוספת, שהיא שכבת קשב מרובת ראשים על כל היציאות מהמקודד.

חשוב לציין שהפרטים הספציפיים הללו שונו בווריאציות שונות של דגם הרובוטריק. דגמים כמו BERT ו GPT, לדוגמה, מבוססים על היבט המקודד או המפענח של הארכיטקטורה המקורית.

מהן שכבות קשב ב-AI?

בארכיטקטורת המודל שדיברנו עליה קודם, שכבות הקשב מרובות הראש הן האלמנטים המיוחדים שהופכים אותו לעוצמתי. אבל מהי בעצם תשומת לב? תחשוב על זה כעל פונקציה שממפה שאלה לקבוצת מידע ונותנת פלט. לכל אסימון בקלט יש שאילתה, מפתח וערך המשויכים אליו. ייצוג הפלט של כל אסימון מחושב על ידי לקיחת סכום משוקלל של הערכים, כאשר המשקל עבור כל ערך נקבע לפי מידת התאמתו לשאילתה.

רובוטריקים משתמשים בפונקציית תאימות הנקראת מוצר מדורג כדי לחשב משקלים אלה. הדבר המעניין בתשומת לב ב-Transformers הוא שכל אסימון עובר דרך חישוב משלו, ומאפשר חישוב מקביל של כל האסימונים ברצף הקלט. זה פשוט מספר בלוקים של קשב שמחשבים באופן עצמאי ייצוגים עבור כל אסימון. ייצוגים אלה משולבים לאחר מכן כדי ליצור את הייצוג הסופי של האסימון.

בהשוואה לסוגים אחרים של רשתות כמו רשתות חוזרות ו רשתות קונבולוציה, לשכבות הקשב יש כמה יתרונות. הם יעילים מבחינה חישובית, כלומר הם יכולים לעבד מידע במהירות. יש להם גם קישוריות גבוהה יותר, מה שמועיל ללכידת מערכות יחסים ארוכות טווח ברצפים.

מהם מודלים מכוונים ב-AI?

דגמי יסוד הם מודלים רבי עוצמה שמאומנים על כמות גדולה של נתונים כלליים. לאחר מכן ניתן להתאים או לכוונן אותם למשימות ספציפיות על ידי הכשרתם על סט קטן יותר של נתונים ספציפיים ליעד. גישה זו, פופולרית על ידי נייר BERT, הובילה לדומיננטיות של מודלים מבוססי שנאי במשימות למידת מכונה הקשורות לשפה.

במקרה של מודלים כמו BERT, הם מייצרים ייצוגים של אסימוני קלט אך אינם מבצעים משימות ספציפיות בעצמם. כדי להפוך אותם לשימושיים, נוסף שכבות עצביות מתווספים למעלה והדגם מאומן מקצה לקצה, תהליך המכונה כוונון עדין. עם זאת, עם מודלים גנרטורים כמו GPT, הגישה מעט שונה. GPT הוא מודל שפת מפענח שאומן לחזות את המילה הבאה במשפט. על ידי הדרכה על כמויות אדירות של נתוני אינטרנט, GPT יכול ליצור פלטים סבירים על סמך שאילתות קלט או הנחיות.

כדי להפוך GPT מועיל יותר, OpenAI החוקרים פיתחו לְהוֹרוֹתGPT, אשר מאומן לעקוב אחר הוראות אנושיות. זה מושג על ידי כוונון עדין GPT שימוש בנתונים עם תווית אנושית ממשימות שונות. לְהוֹרוֹתGPT מסוגל לבצע מגוון רחב של משימות ומשמש מנועים פופולריים כמו ChatGPT.

ניתן להשתמש בכוונון עדין גם כדי ליצור גרסאות של מודלים של בסיס מותאמים עבורם מטרות ספציפיות מעבר למידול שפה. לדוגמה, ישנם מודלים המותאמים למשימות הקשורות לסמנטיות כמו סיווג טקסט ואחזור חיפוש. בנוסף, מקודדי שנאים כוונו בהצלחה בתוך ריבוי משימות מסגרות למידה לבצע משימות סמנטיות מרובות באמצעות מודל משותף יחיד.

כיום, כוונון עדין משמש ליצירת גרסאות של דגמי יסוד שיכולים לשמש מספר רב של משתמשים. התהליך כולל יצירת תגובות לקלט הנחיות ושבני אדם מדרגים את התוצאות. דירוג זה משמש לאימון א מודל תגמול, אשר מקצה ציונים לכל פלט. למידת חיזוק עם משוב אנושי לאחר מכן מועסק כדי להכשיר את המודל.

מדוע רובוטריקים הם העתיד של AI?

רובוטריקים, סוג של מודל רב עוצמה, הוצגו לראשונה בתחום תרגום השפה. עם זאת, החוקרים הבינו במהירות שניתן להשתמש ברובוטריקים למשימות שונות הקשורות לשפה על ידי הכשרתם על כמות גדולה של טקסט ללא תווית ולאחר מכן כוונון עדין על קבוצה קטנה יותר של נתונים מסומנים. גישה זו אפשרה לרובוטריקים ללכוד ידע משמעותי על שפה.

ארכיטקטורת ה-Transformer, שתוכננה במקור למשימות שפה, יושמה גם על יישומים אחרים כמו יצירת תמונות, אודיו, מוזיקה ואפילו פעולות. זה הפך את רובוטריקים למרכיב מרכזי בתחום הבינה המלאכותית הגנרטיבית, שהוא שינוי בהיבטים שונים של החברה.

הזמינות של כלים ומסגרות כגון PyTorch ו TensorFlow מילא תפקיד מכריע באימוץ הנרחב של דגמי רובוטריקים. חברות כמו Huggingface בנו את שלהם עסקים סביב הרעיון של מסחור ספריות Transformer בקוד פתוח, וחומרה מיוחדת כמו Hopper Tensor Cores של NVIDIA האיצה עוד יותר את מהירות ההכשרה וההסקה של הדגמים הללו.

יישום בולט אחד של רובוטריקים הוא ChatGPT, צ'אטבוט ששוחרר על ידי OpenAI. זה הפך לפופולרי להפליא, והגיע למיליוני משתמשים בתקופה קצרה. OpenAI הודיעה גם על שחרורו של GPT-4, גרסה חזקה יותר המסוגלת להשיג ביצועים כמו אנושיים במשימות כגון בדיקות רפואיות ומשפטיות.

אין להכחיש את ההשפעה של רובוטריקים בתחום הבינה המלאכותית ומגוון היישומים הרחב שלהם. יש להם שינה את הדרך אנו ניגשים למשימות הקשורות לשפה וסוללים את הדרך להתקדמות חדשה בתחום הבינה המלאכותית הגנרטיבית.

3 סוגים של ארכיטקטורות הדרכה מראש

ארכיטקטורת השנאי, שהורכבה במקור מקודד ומפענח, התפתחה לכלול וריאציות שונות המבוססות על צרכים ספציפיים. בואו נפרק את הווריאציות הללו במונחים פשוטים.

1. אימון מקדים לקודד: מודלים אלה מתמקדים בהבנת משפטים או קטעים שלמים. במהלך אימון מקדים, המקודד משמש לשחזור אסימוני מסכות במשפט הקלט. זה עוזר למודל ללמוד להבין את ההקשר הכולל. מודלים כאלה שימושיים עבור משימות כמו סיווג טקסט, השתלבות ותשובות לשאלות מחלצות.
2. אימון מקדים למפענח: דגמי המפענח מאומנים ליצור את האסימון הבא על סמך רצף האסימונים הקודם. הם ידועים כמודלים של שפה אוטומטית רגרסיבית. שכבות הקשב העצמי במפענח יכולות לגשת רק לאסימונים לפני אסימון נתון במשפט. מודלים אלה אידיאליים למשימות הכוללות יצירת טקסט.
3. אימון מקדים של שנאי (מקודד-מפענח).: וריאציה זו משלבת הן את רכיבי המקודד והן את רכיבי המפענח. שכבות הקשב העצמי של המקודד יכולות לגשת לכל אסימוני הקלט, בעוד ששכבות הקשב העצמי של המפענח יכולות לגשת רק לאסימונים לפני אסימון נתון. ארכיטקטורה זו מאפשרת למפענח להשתמש בייצוגים שנלמד על ידי המקודד. מודלים של מקודדים-מפענחים מתאימים היטב למשימות כמו סיכום, תרגום או מענה על שאלות.

מטרות אימון מקדמות יכולות להיות כרוכות בהכפשה או במודל שפה סיבתי. מטרות אלו מורכבות יותר עבור מודלים של מקודדים-מפענחים בהשוואה למודלים המקודדים בלבד או המפענחים בלבד. לארכיטקטורת השנאי יש וריאציות שונות בהתאם למוקד המודל. בין אם מדובר בהבנת משפטים שלמים, יצירת טקסט או שילוב של שניהם עבור משימות שונות, רובוטריקים מציעים גמישות בטיפול באתגרים שונים הקשורים לשפה.

8 סוגי משימות לדוגמניות שהוכשרו מראש

כאשר מאמנים מודל, עלינו לתת לו משימה או מטרה ללמוד ממנה. ישנן משימות שונות בעיבוד שפה טבעית (NLP) שניתן להשתמש בהן לאימון מקדים. בואו נפרק כמה מהמשימות האלה במילים פשוטות:

1. מודל שפה (LM): המודל מנבא את האסימון הבא במשפט. הוא לומד להבין את ההקשר וליצור משפטים קוהרנטיים.
2. מודל שפה סיבתי: המודל מנבא את האסימון הבא ברצף טקסט, לפי סדר משמאל לימין. זה כמו מודל סיפור שמייצר משפטים מילה אחת בכל פעם.
3. דוגמנות שפת קידומת: המודל מפריד בין קטע 'קידומת' מהרצף הראשי. זה יכול לטפל בכל אסימון בתוך הקידומת, ואז מייצר את שאר הרצף באופן אוטומטי.
4. דוגמנות שפה מסכת (MLM): חלק מהאסימונים במשפטי הקלט מוסווים, והמודל חוזה את האסימונים החסרים בהתבסס על ההקשר שמסביב. הוא לומד להשלים את החסר.
5. Modeling Language Permuted (PLM): המודל חוזה את האסימון הבא על סמך תמורה אקראית של רצף הקלט. הוא לומד להתמודד עם סדרים שונים של אסימונים.
6. Denoising Autoencoder (DAE): הדגם לוקח קלט פגום חלקית ומטרתו לשחזר את הקלט המקורי, הלא מעוות. הוא לומד להתמודד עם רעשים או חלקים חסרים בטקסט.
7. זיהוי אסימון מוחלף (RTD): המודל מזהה אם אסימון מגיע מהטקסט המקורי או מגרסה שנוצרה. הוא לומד לזהות אסימונים שהוחלפו או שעברו מניפולציה.
8. חיזוי המשפט הבא (NSP): המודל לומד להבחין אם שני משפטי קלט הם קטעים רציפים מנתוני האימון. הוא מבין את הקשר בין משפטים.

משימות אלו עוזרות למודל ללמוד את המבנה והמשמעות של השפה. על ידי אימון מקדים במשימות אלו, מודלים משיגים הבנה טובה של השפה לפני שהם מכוונים עדין ליישומים ספציפיים.

30+ רובוטריקים המובילים ב-AI

שאלות נפוצות

רובוטריקים ב-AI הם סוג של ארכיטקטורת למידה עמוקה ששינה את עיבוד השפה הטבעית ומשימות אחרות. הם משתמשים במנגנוני תשומת לב עצמית כדי ללכוד יחסים בין מילים במשפט, מה שמאפשר להם להבין וליצור טקסט דמוי אדם.

מקודדים ומפענחים הם רכיבים הנפוצים במודלים של רצף לרצף. מקודדים מעבדים נתוני קלט, כגון טקסט או תמונות, וממירים אותם לייצוג דחוס, בעוד שמפענחים מייצרים נתוני פלט המבוססים על הייצוג המקודד, ומאפשרים משימות כמו תרגום שפה או כיתוב תמונה.

שכבות קשב הן רכיבים המשמשים ב רשתות עצביות, במיוחד בדגמי רובוטריקים. הם מאפשרים למודל להתמקד באופן סלקטיבי בחלקים שונים של רצף הקלט, תוך הקצאת משקלים לכל אלמנט על סמך הרלוונטיות שלו, מה שמאפשר ללכוד תלות ויחסים בין אלמנטים בצורה יעילה.

מודלים מכוונים מתייחסים למודלים שהוכשרו מראש שעברו הכשרה נוספת במשימה או מערך נתונים ספציפיים כדי לשפר את הביצועים שלהם ולהתאים אותם לדרישות הספציפיות של אותה משימה. תהליך כוונון עדין זה כולל התאמת הפרמטרים של המודל כדי לייעל את התחזיות שלו ולהפוך אותו למיוחד יותר עבור משימת היעד.

רובוטריקים נחשבים לעתיד של AI מכיוון שהם הפגינו ביצועים יוצאי דופן במגוון רחב של משימות, כולל עיבוד שפה טבעית, יצירת תמונות ועוד. היכולת שלהם ללכוד תלות ארוכת טווח ולעבד נתונים עוקבים ביעילות הופכת אותם לבעלי הסתגלות ויעילות רבה עבור יישומים שונים, וסוללת את הדרך להתקדמות ב-AI הגנרטיבי ומחוללת מהפכה בהיבטים רבים של החברה.

דגמי השנאים המפורסמים ביותר ב-AI כוללים את BERT (ייצוגי קודן דו-כיווני של רובוטריקים), GPT (Generative Pre-trained Transformer), ו-T5 (Text-to-Text Transformer). מודלים אלו השיגו תוצאות יוצאות דופן במשימות שונות של עיבוד שפה טבעית וצברו פופולריות משמעותית בקהילת המחקר של AI.

קרא עוד על AI:

• אוניברסיטת טקסס: ניתן לחשוף את מוחותיהם של אנשים באמצעות מפענח פעילות מוחית
• פייסבוק מפתחת שיטה חדשה להכפלת הביצועים של רובוטריקים בינה מלאכותית
• GPT-4 יכול לטפל בבקשות שלך לתמונות, מסמכים, דיאגרמות וצילומי מסך

על המחבר

דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט. 

מאמרים נוספים

דמיר יללוב

• 
• 

דמיר יללוב

דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט. 

• 

מאמרים נוספים