דגמי השפה הגדולים של היום יהיו מודלים קטנים, לדברי חוקר ב OpenAI
Hyung Won Chung, חוקר בינה מלאכותית מוכשרת אשר הועסק בעבר ב-Google Brain וכיום חבר ב- OpenAI צוות, נשא נאום מעורר מחשבה בן 45 דקות בו חקר את עולם המודלים של שפות גדולות בשנת 2023. לצ'ונג יש ניסיון בתחום; הוא היה המחבר הראשון של מאמר גוגל "שינוי קנה מידה של מודלים של שפה מכוונים להוראות,” שבודק כיצד ניתן לאמן מודלים של שפה גדולים לעקוב אחר הוראות.
צ'ונג מדגיש את עולם המודלים הנרחבים של שפה דינמית. בעולם של LLMs, העיקרון המנחה מתפתח כל הזמן, בניגוד לתחומים מסורתיים שבהם הנחות יסוד בדרך כלל נשארות יציבות. עם הדור הקרוב של הדגמים, מה שנחשב כרגע בלתי אפשרי או בלתי מעשי עשוי להפוך לאפשרי. הוא מדגיש את המשמעות של הקדמת רוב הטענות לגבי יכולות LLM עם "בינתיים". מודל יכול לבצע משימה; זה פשוט לא עשה זאת עדיין.
דגמים גדולים של היום יהיו דגמים קטנים רק בעוד כמה שנים
היונג וון צ'ונג, OpenAI
הצורך בתיעוד קפדני ובשעתוק ב מחקר בינה מלאכותית הוא אחד הלקחים החשובים ביותר שניתן ללמוד מנאומו של צ'ונג. זה חיוני לתעד ביסודיות עבודה שוטפת עם התפתחות התחום. אסטרטגיה זו מבטיחה שניתן לשכפל ניסויים במהירות ולעיין בהם מחדש, מה שמאפשר לחוקרים להתבסס על עבודה קודמת. באמצעות תרגול זה, יש הכרה בכך שעשויות להתפתח בעתיד יכולות שלא היו מעשיות במהלך המחקר הראשוני.
צ'ונג מקדיש חלק מדבריו להבהרת המורכבות של נתונים ומקביליות מודלים. עבור אלה המעוניינים להעמיק בהיבטים הטכניים של AI, חלק זה מספק תובנות חשובות לגבי פעולתן הפנימית של טכניקות מקביליות אלו. הבנת המנגנונים הללו חיונית לאופטימיזציה הכשרת מודלים בקנה מידה גדול.
צ'ונג טוען שהפונקציה האובייקטיבית הנוכחית, Maximum Likelihood, המשמשת לאימון מקדים LLM היא צוואר בקבוק בכל הנוגע להשגת קנה מידה מסיבי באמת, כמו פי 10,000 מהקיבולת של GPT-4. ככל שלמידת מכונה מתקדמת, פונקציות אובדן שתוכננו באופן ידני הופכות למגבילות יותר ויותר.
צ'ונג מציע שהפרדיגמה הבאה בפיתוח בינה מלאכותית כוללת למידה של פונקציות באמצעות אלגוריתמים נפרדים. גישה זו, אם כי בחיתוליה, טומנת בחובה הבטחה להרחבה מעבר לאילוצים הנוכחיים. הוא גם מדגיש מאמצים מתמשכים, כגון למידה של חיזוק משוב אנושי (RLHF) עם מודלים של כללים, כצעדים בכיוון זה, אם כי עדיין יש להתגבר על אתגרים.
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
