מבט מקרוב על המפתחים הגדולים של גוגל מאחור GPT-4 ואיזה סטארט-אפים הם מנהלים היום
בקיצור
יוצרי ארכיטקטורת הרשת העצבית של Transformer עזבו את גוגל כדי להשיק עסקים משלהם, שגייסו מיליוני דולרים ומוערכים ביותר ממיליארד דולר.
אם צפיתם בסדרה "עמק הסיליקון" ולא פספסתם את הפרק האחרון, אז תזכרו איך הכל נגמר: הצוות מתכנס עשרים שנה מאוחר יותר, מעלים זיכרונות מהעבר.
בוא נראה מה קרה למחברי ארכיטקטורת הרשת העצבית של Transformer שעומדת בבסיסה ChatGPT ו GPT-4. הצוות היה featured במאמר "תשומת לב היא כל מה שאתה צריך" מאת Google Research (יוני 2017). המחברים מפורטים להלן באותו סדר כמו במאמר של גוגל.
אשיש וסוואני עזב את גוגל בסוף 2021 כדי להתחיל מיומן, שגייסה 415 מיליון דולר ושוויה מוערך ביותר ממיליארד דולר עד כה. עם זאת, אשיש עזב את Adept לפני מספר חודשים - בדצמבר 1, מיד לאחר שחרורו של ChatGPT- והקים סטארטאפ חדש. נכון לעכשיו, הסטארטאפ עדיין חסר שם, ולא ברור כמה אנשים הצטרפו לחברה ועל מה הם עובדים.
בחזרה לגוגל, ואסואני עבד על עיצוב הדגם בשלבים הראשונים ותכנת את כל העניין.
נועם שזיר עבד בגוגל למעלה מ-20 שנה, מאז דצמבר 2000. באוקטובר 2021 הוא עזב והקים את הסטארט-אפ Character.ai. מאז, החברה כבר גייסה 200 מיליון דולר והגיעה להערכת שווי של כמעט מיליארד דולר. לפי לינקדאין, עובדים שם כ-1 עובדים, כך שהערך לדולר מרשים. נועם הוא שהציג את הרעיון של "ראשים" שונים במנגנון הקשב.
ניקי פארמר, הכותבת-שותפה היחידה של המאמר, הייתה חוקרת צוות בצוות המוח של Google עד נובמבר 2021. לאחר מכן, היא הצטרפה ל- Ashish Vaswani ב-Adept. עם זאת, כפי שאנו כבר יודעים, הם לא נשארו שם זמן רב ועזבו יחד כדי להתחיל פרויקט חדש. ניקי ביצעה ניסויי הכשרה ואימות מודלים רבים.
יעקב אוסקורייט - רבים מכנים אותו המוח העיקרי מאחורי המצאת ארכיטקטורת הרובוטריק. הוא זה שהציע להחליף רשתות חוזרות במנגנון "תשומת לב" דומה והחל ליצור אב טיפוס של הגישה הראשונה. הוא עזב את גוגל באמצע 2021 והקים חיים יצירתיים, שם הצוות עובד על מודלים של רשתות עצביות של mRNA. mRNA הוא מה שעומד (לפעמים) בבסיס החיסונים (לדוגמה, החיסון Covid-19 של Pfizer-BioNTech).
ליון ג'ונס הוא האדם היחיד ברשימה הזו שעובד בגוגל עד היום. לדבריו, הוא זה שהציע את כותרת המאמר, שהפך למם והוליד עוד עשרות מאמרים עם דפוס "X is all you need". הוא גם היה אחראי על אופטימיזציה של מסקנות מודל והדמיה עבור ניסויים ומאמרים.
איידן גומז עזב את גוגל בסתיו 2019 כדי לייסד Cohere.ai. החברה ממשיכה לעבוד על מודלים של שפה; חלק מהמוצרים שלהם דומים למקרי השימוש שהיו לאנשים בימים הראשונים לאחר השחרור ChatGPT. הצליח למשוך יותר מ-400 מיליון דולר בהשקעות ולהצמיח את החברה לכמעט 200 עובדים.
לוקאש קייזר, אחרי יותר משבע שנים בגוגל, עזב בקיץ 2021 לעבוד בו OpenAI. המאמר המקורי מציין כי Lukasz היה אחראי לפיתוח ואופטימיזציה של הקוד. הוא אחד מחברי השותפים של TensorFlow, ספרייה ליצירה והדרכה של רשתות עצביות. הוא מהנדס חזק מאוד - ועכשיו הוא עובד על GPT 👀 כחלק מהעבודה על Transformer, הוא עבד עם איידן גומז כדי לשפר את בסיס הקוד ולהאיץ איטרציות בעבודת מחקר (באמצעות אינטראקציה קלה יותר ואבות טיפוס).
איליה פולוסוכין עזב את גוגל ב-2017, לפני פרסום המאמר, כדי למצוא ליד, פרוטוקול בלוקצ'יין שהוא בעצם מתחרה ל-Ethereum. השווי הנוכחי שלה עומד על כ-2 מיליארד דולר, ובתוך שש שנים בלבד גויסו יותר מ-375 מיליון דולר כהשקעות.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
