גואנאקו מתגלה כפוטנציאל קוד פתוח ChatGPT מתחרה
בקיצור
Guanaco, צ'טבוט בקוד פתוח שפותח על ידי חוקרים מאוניברסיטת וושינגטון, שואף להתחרות בו ChatGPT תוך שהוא דורש פחות זמן וכסף לאימון.
מחקר חדש, לעומת זאת, הטיל ספק ביעילותם של מודלים כמו אלפקה.
חוקרים מאוניברסיטת וושינגטון חשפו גואנקו, צ'אט בוט בקוד פתוח שמטרתו להתחרות בביצועים של ChatGPT תוך צמצום משמעותי של הזמן והמשאבים הנדרשים להדרכה. נקרא על שם קרוב משפחה דרום אמריקאי של llamas, גואנקו בנויה על LLaMA מודל שפה ומשלב שיטת כוונון חדשנית בשם QLoRA.
היוצרים של Guanaco טוענים שהיא משיגה ביצועים דומים ל ChatGPT אך ניתן לאמן אותו ביום אחד בלבד. ההישג המדהים הזה מתאפשר על ידי QLoRA, טכניקת כוונון עדין של מודל שפה שמפחיתה באופן משמעותי את כמות זיכרון ה-GPU הדרושה לאימון. בזמן ChatGPT דורש זיכרון GPU עצום של 780 GB עבור דגם עם 65 מיליארד פרמטרים, הגרסה הפשוטה ביותר של Guanaco דורשת רק 5 GB.
עם הישגי היעילות המרשימים הללו, גואנאקו ומודלים דומים של קוד פתוח מאתגרים את הרעיון שהכשרה יקרה נחוצה עבור מודלים שפה חדישים. הופעתה של גואנקו, אלפקה, ו דגמים אחרים שהרכבת בשבריר מהעלות הובילה לספקולציות לגבי עתידם של דגמים יקרים כמו GPT.
עם זאת, לא כולם מסכימים עם ההשקפה האופטימית הזו של מודלים של קוד פתוח. מחקר שנערך לאחרונה על ידי אוניברסיטת קליפורניה הטיל ספק על היכולות של דגמים כמו אלפקות והעלו שאלות לגבי הפוטנציאל האמיתי שלהם. בתחילה, החוקרים הגיעו למסקנה דומה לזו של יוצרי גואנקו: כאשר מאומנים כראוי, מודלים של קוד פתוח יכולים להתחרות GPT ביכולות. בדיקות נוספות גילו מגבלה משמעותית. דגמי ה"דולי" הללו, כפי שהם נקראים לפעמים, מיומנים בחיקוי פתרונות לבעיות בהן נתקלו במהלך האימון. עם זאת, הם נאבקים לבצע היטב משימות שלא נחשפו אליהן במפורש, בפיגור מאחורי דגמים מתקדמים יותר.
גילוי זה מציע כי מיליונים שהושקעו בהדרכה GPT ודגמים דומים אולי לא היו לשווא. בעוד שגואנקו ועמיתיה מפגינים תוצאות מבטיחות, עדיין יש תחומים שבהם דגמים מתוחכמים יותר מצטיינים. ראוי לציין כי מחקר שנערך על ידי אוניברסיטת קליפורניה מערערת על התפיסה הרווחת לפיה מודלים בקוד פתוח יכולים להחליף באופן מלא דגמים יקרים כמו GPT.
ככל שהתחום של עיבוד שפה טבעית יתפתח, יהיה מעניין לראות כיצד גואנקו ומודלים אחרים של קוד פתוח מתיישרים מול מבוססים אמות מידה כגון ChatGPT. הקצב הגבוה של חדשנות ומחקר מתמשך ישפיע, ללא ספק, על עתידם של מודלים לשוניים ויקבעו אילו מודלים יהפכו לבחירה המומלצת עבור יישומים מסוימים.
- דולי 2.0, הקוד הפתוח הראשון זמין מסחרית 12B Chat-LLM, הוכרז מאת Databricks. זוהי התקדמות משמעותית עבור תעשיית למידת המכונה, המאפשרת לעסקים ליצור מודלים יעילים של שפה מבלי להשקיע באשכולות GPU יקרים. Databricks העסיקה 5,000 עובדים כדי ליצור את מודל שפת הקוד הפתוח שלהם, שכלל את מודל השפה Pythia-12B של EleutherAI תחת רישיון MIT. Dolly 2.0, כמו גם הקוד המשויך, זמין תחת רישיון MIT. ל-Dolly 2.0 יש פוטנציאל לשנות את התעשייה והיא צעד משמעותי קדימה עבור למידת מכונה.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
