Un examen plus approfondi des grands développeurs de Google derrière GPT-4 et quelles startups ils dirigent aujourd'hui
En bref
Les créateurs de l'architecture de réseau neuronal Transformer ont quitté Google pour lancer leurs propres entreprises, qui ont levé des millions de dollars et sont évaluées à plus d'un milliard de dollars.
Si vous avez regardé la série "Silicon Valley" et n'avez pas raté le dernier épisode, rappelez-vous comment tout s'est terminé : l'équipe se réunit vingt ans plus tard, se remémorant le passé.
Voyons ce qui est arrivé aux auteurs de l'architecture de réseau neuronal Transformer qui sous-tend ChatGPT ainsi que GPT-4. L'équipe était featured dans l'article "L'attention est tout ce dont vous avez besoin” par Google Research (juin 2017). Les auteurs sont listés ci-dessous dans le même ordre que dans l'article de Google.
Ashish Vaswani a quitté Google fin 2021 pour commencer Expert, qui a levé 415 millions de dollars et est évalué à ce jour à plus d'un milliard de dollars. Cependant, Ashish a quitté Adept il y a quelques mois, en décembre 1, immédiatement après la sortie de ChatGPT– et a fondé une nouvelle startup. Pour le moment, la startup n’a toujours pas de nom et on ne sait pas combien de personnes ont rejoint l’entreprise ni sur quoi elles travaillent.
De retour chez Google, Vaswani a travaillé sur la conception du modèle dans les premières étapes et a programmé le tout.
Noam Shazeer a travaillé chez Google pendant plus de 20 ans, depuis décembre 2000. En octobre 2021, il a démissionné et a fondé la startup Caractère.ai. Depuis lors, la société a déjà levé 200 millions de dollars et atteint une valorisation de près d'un milliard de dollars. Selon LinkedIn, il y a environ 1 employés qui y travaillent, donc la valeur par dollar est impressionnante. C'est Noam qui a introduit l'idée de différentes « têtes » dans le mécanisme de l'attention.
| Lire la suite: UTILISATION ChatGPT (GPT-4) gratuitement pour toujours |
Niki Parmar, la seule femme co-auteur de l'article, a été chercheuse au sein de l'équipe Google Brain jusqu'en novembre 2021. Ensuite, elle a rejoint Ashish Vaswani chez Adept. Cependant, comme nous le savons déjà, ils n'y sont pas restés longtemps et sont partis ensemble pour démarrer un nouveau projet. Niki a fait de nombreuses expériences de formation et de validation de modèles.
Jakob Uszkoreit - beaucoup l'appellent le cerveau principal derrière l'invention de l'architecture Transformer. C'est lui qui a suggéré de remplacer les réseaux récurrents par un mécanisme « d'attention » similaire et a commencé à prototyper la première approche. Il a quitté Google à la mi-2021 et a fondé Vie Inceptive, où l'équipe travaille sur la modélisation des réseaux neuronaux d'ARNm. L'ARNm est ce qui sous-tend (parfois) les vaccins (par exemple, le vaccin Covid-19 de Pfizer-BioNTech).
Lion Jones est la seule personne sur cette liste qui travaille chez Google à ce jour. Selon lui, c'est lui qui a suggéré le titre de l'article, qui est devenu un mème et a donné lieu à des dizaines d'autres articles avec le motif "X est tout ce dont vous avez besoin". Il était également responsable de l'optimisation de l'inférence et de la visualisation des modèles pour les expériences et les articles.
| Lire la suite: Meilleurs outils de détection de contenu IA en 2023 |
Aidan Gomez a quitté Google à l'automne 2019 pour fonder Cohérer.ai. L'entreprise continue de travailler sur des modèles de langage ; certains de leurs produits sont similaires aux cas d'utilisation que les gens avaient dans les premiers jours après la sortie de ChatGPT. A réussi à attirer plus de 400 millions de dollars d'investissements et à faire croître l'entreprise jusqu'à près de 200 employés.
Lucas Kaiser, après plus de sept ans chez Google, est parti à l'été 2021 pour travailler chez OpenAI. L'article original indique que Lukasz était responsable du développement et de l'optimisation du code. Il est l'un des co-auteurs de TensorFlow, une bibliothèque permettant de créer et d'entraîner des réseaux de neurones. C'est un très bon ingénieur et il travaille actuellement sur GPT 👀 Dans le cadre des travaux sur Transformer, il a travaillé avec Aidan Gomez pour améliorer la base de code et accélérer les itérations dans les travaux de recherche (grâce à une interaction et un prototypage plus faciles).
Illia Polosoukhine a quitté Google en 2017, avant la publication de l'article, pour fonder Près, un protocole blockchain qui est essentiellement un concurrent d'Ethereum. Sa valorisation actuelle est d'environ 2 milliards de dollars, et en seulement six ans, plus de 375 millions de dollars ont été levés en tant qu'investissements.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
