פייסבוק מפתחת שיטה חדשה להכפלת הביצועים של רובוטריקים בינה מלאכותית
בקיצור
פייסבוק פיתחה שיטה חדשה להכפלת הביצועים של שנאי בינה מלאכותית המבוססת על ארכיטקטורת השנאים.
השיטה החדשה מוצאת את הטלאים הדומים ביותר בפערים בין עיבוד בלוקים שונים ומשלבת אותם כדי להפחית את המורכבות החישובית.
פייסבוק פיתחה א שיטה חדשה להכפלת הביצועים של שנאי בינה מלאכותית. השיטה היא מבוסס על ארכיטקטורת השנאים והוא תוכנן במיוחד עבור טקסט ארוך, כגון ספרים, מאמרים ובלוגים. המטרה של שנאי ה-AI החדש היא לשפר את הביצועים של מודלים מבוססי שנאים על טקסט ארוך על ידי הפיכתם ליעילה ואפקטיבית יותר בטיפול ברצפים ארוכים. התוצאות של שנאי הבינה המלאכותית מבטיחות מאוד, ולשיטה החדשה הזו יש סיכוי לעזור לשפר את הביצועים של מודלים מבוססי שנאים במגוון משימות.
לשיטה חדשה זו צפויה להיות השפעה משמעותית על משימות עיבוד שפה טבעית, כגון תרגום שפה, סיכום ומערכות תשובות לשאלות. זה גם צפוי להוביל לפיתוח דגמי AI מתוחכמים יותר שיכולים להתמודד עם טקסטים ארוכים ומורכבים יותר.
כדי לעבד את התמונה, שנאים מודרניים חותכים אותה לטלאים (בדרך כלל ריבועים: ראה את ה-GIF למטה) ואז פועלים על ייצוגים של חלקיקים אלה, שכל אחד מהם מיוצג על ידי "אסימון". רובוטריקים, כידוע, עובדים לאט יותר ככל שיש יותר חלקי אסימון אלה (זה חל גם על טקסטים וגם על תמונות), ולשנאי הנפוץ ביותר יש קשר ריבועי. כלומר, ככל שמתווספים יותר אסימונים, כך העיבוד נעשה איטי יותר. כדי לטפל בבעיה זו, חוקרים הציעו טכניקות שונות להפחתת מספר האסימונים הנדרשים לעיבוד תמונה, כגון איגום היררכי ואדפטיבי. שיטות אלו שואפות לשמור על איכות התפוקה תוך מזעור העלות החישובית.
השיטה החדשה מוצאת את הטלאים הדומים ביותר בפערים בין עיבוד בלוקים שונים ומשלבת אותם כדי להפחית את המורכבות החישובית. חלקם של אסימונים ממוזגים הוא היפרפרמטר; ככל שהוא גבוה יותר, האיכות נמוכה יותר אך גם התאוצה גבוהה יותר. ניסויים מראים כי ניתן למזג כ-40% מהטוקנים עם אובדן איכות של 0.1-0.4% ולקבל תאוצה כפולה (ובכך להכיל פחות זיכרון). שיטה חדשה זו מהווה פתרון מבטיח להפחתת המורכבות החישובית של עיבוד תמונה ויכולה לאפשר עיבוד מהיר ויעיל יותר מבלי לפגוע באיכות הפלט הסופי.
גישות הנדסיות כאלה המבוססות על כושר המצאה והבנה כיצד משהו עובד נראות מושכות מאוד. כמו כן, המפתחים של Meta מבטיחים להביא יותר ל-StableDiffusion על מנת לזרז את העניינים גם שם. זה מדהים שמכיוון ששנאים נמצאים בכל מקום, טריקים כאלה יכולים להיות מיושמים במהירות במגוון רחב של דגמים. זה מראה את הפוטנציאל של פתרונות הנדסיים להיות בעלי השפעה רחבה על פני תעשיות שונות. יהיה מעניין לראות כיצד ההתקדמות הללו נכנסות דגמי שנאים ימשיך להתפתח ולהשתפר עם הזמן.
- Meta AI ו-Paperswithcode פרסמו את דגם ה-120B הראשון Galactica שאומן על טקסטים מדעיים, המאפשר תחזיות מדויקות ומהירות יותר. המטרה של גלקטיקה היא לעזור לחוקרים להפריד בין החשוב לבלתי רלוונטי.
קרא עוד חדשות קשורות:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
