Et nærmere kig på Googles store udviklere bag GPT-4 og hvilke startups de driver i dag
Kort sagt
Skaberne af Transformers neurale netværksarkitektur forlod Google for at lancere deres egne virksomheder, som har rejst millioner af dollars og er vurderet til mere end $1 mia.
Hvis du så serien "Silicon Valley" og ikke gik glip af det sidste afsnit, så husk, hvordan det hele endte: holdet mødes tyve år senere og mindes om fortiden.
Lad os se, hvad der skete med forfatterne af Transformers neurale netværksarkitektur, der ligger til grund ChatGPT , GPT-4. Holdet var featured i artiklen "Opmærksomhed er alt hvad du behøver” af Google Research (juni 2017). Forfatterne er listet nedenfor i samme rækkefølge som i Googles artikel.
Ashish Vaswani forlod Google i slutningen af 2021 for at starte Adept, som har rejst $415 millioner og er vurderet til over $1 milliard indtil videre. Ashish forlod imidlertid Adept for et par måneder siden - i december 2022, umiddelbart efter udgivelsen af ChatGPT- og grundlagde en ny startup. I øjeblikket er opstarten stadig navnløs, og det er ikke klart, hvor mange der er kommet til virksomheden, og hvad de arbejder med.
Tilbage hos Google arbejdede Vaswani på designet af modellen i de tidlige stadier og programmerede det hele.
Noam Shazeer arbejdet hos Google i over 20 år siden december 2000. I oktober 2021 stoppede han og grundlagde startup'et karakter.ai. Siden da har virksomheden allerede rejst 200 millioner dollars og nået en værdiansættelse på næsten 1 milliard dollars. Ifølge LinkedIn er der omkring 20 ansatte, der arbejder der, så værdien per dollar er imponerende. Det var Noam, der introducerede ideen om forskellige "hoveder" i opmærksomhedsmekanismen.
Niki Parmar, den eneste kvindelige medforfatter af artiklen, var en stabsforsker på Google Brain-teamet indtil november 2021. Derefter sluttede hun sig til Ashish Vaswani hos Adept. Men som vi allerede ved, blev de ikke der i lang tid og gik sammen for at starte et nyt projekt. Niki har lavet mange trænings- og modelvalideringseksperimenter.
Jakob Uszkoreit - mange kalder ham hovedhjernen bag opfindelsen af Transformer-arkitekturen. Det var ham, der foreslog at erstatte tilbagevendende netværk med en lignende "opmærksomheds"-mekanisme og begyndte at lave prototyper af den første tilgang. Han forlod Google i midten af 2021 og grundlagde Inceptivt liv, hvor teamet arbejder på neurale netværksmodellering af mRNA. mRNA er det, der (nogle gange) understøtter vacciner (for eksempel Pfizer-BioNTechs Covid-19-vaccine).
Lion Jones er den eneste person på denne liste, der arbejder hos Google den dag i dag. Ifølge ham var det ham, der foreslog artiklens titel, som blev et meme og gav anledning til snesevis af andre artikler med "X is all you need"-mønsteret. Han var også ansvarlig for at optimere modelslutning og visualisering til eksperimenter og artikler.
Aidan Gomez forlod Google i efteråret 2019 for at finde Cohere.ai. Virksomheden arbejder videre med sprogmodeller; nogle af deres produkter ligner de use cases, som folk havde i de tidlige dage efter udgivelsen af ChatGPT. Formåede at tiltrække mere end $400 millioner i investeringer og vokse virksomheden til næsten 200 ansatte.
Lukasz Kaiser, efter mere end syv år hos Google, rejste i sommeren 2021 for at arbejde hos OpenAI. Den originale artikel siger, at Lukasz var ansvarlig for udvikling og optimering af koden. Han er en af medforfatterne til TensorFlow, et bibliotek til at skabe og træne neurale netværk. Han er en meget stærk ingeniør - og arbejder nu på GPT 👀 Som en del af arbejdet med Transformer arbejdede han sammen med Aidan Gomez for at forbedre kodebasen og fremskynde iterationer i forskningsarbejde (gennem lettere interaktion og prototyping).
Illia Polosukhin forlod Google i 2017, før udgivelsen af artiklen, for at finde I nærheden af, en blockchain-protokol, der i det væsentlige er en konkurrent til Ethereum. Dens nuværende værdiansættelse er omkring 2 milliarder dollars, og på kun seks år er der rejst mere end 375 millioner dollars som investeringer.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
