De huidige grote taalmodellen zullen kleine modellen zijn, aldus een onderzoeker van OpenAI
Hyung Won Chung, een ervaren AI-onderzoeker die voorheen in dienst was bij Google Brain en momenteel lid is van de OpenAI team, hield een tot nadenken stemmende toespraak van 45 minuten waarin hij de wereld van grote taalmodellen in 2023 verkende. Chung heeft ervaring in het veld; hij was de eerste auteur van het Google-artikel “Schaalinstructie-verfijnde taalmodellen,waarin wordt onderzocht hoe grote taalmodellen kunnen worden getraind om instructies te volgen.
Chung benadrukt de wereld van uitgebreide taalmodellen als dynamisch. In de wereld van LLM's evolueert het leidende principe voortdurend, in tegenstelling tot traditionele vakgebieden waar fundamentele aannames doorgaans stabiel blijven. Met de komende generatie modellen kan wat momenteel als onmogelijk of onpraktisch wordt beschouwd mogelijk worden. Hij benadrukt het belang van het voorafgaan van de meeste beweringen over LLM-capaciteiten met “voorlopig”. Een model kan een taak uitvoeren; het is gewoon nog niet gelukt.
Grote modellen van nu zijn over een paar jaar kleine modellen
Hyung Won Chung, OpenAI
De behoefte aan nauwgezette documentatie en reproduceerbaarheid in AI-onderzoek is een van de belangrijkste lessen die we uit Chungs toespraak kunnen leren. Het is van cruciaal belang om lopende werkzaamheden grondig te documenteren naarmate het vakgebied zich ontwikkelt. Deze strategie garandeert dat experimenten snel kunnen worden gerepliceerd en opnieuw kunnen worden bekeken, waardoor onderzoekers kunnen voortbouwen op eerder werk. Door deze praktijk wordt erkend dat zich in de toekomst capaciteiten kunnen ontwikkelen die tijdens het eerste onderzoek niet praktisch waren.
Chung wijdt een deel van zijn lezing aan het ophelderen van de complexiteit van data en modelparallellisme. Voor degenen die geïnteresseerd zijn om dieper in te gaan op de technische aspecten van AI, biedt dit gedeelte waardevolle inzichten in de innerlijke werking van deze parallellismetechnieken. Het begrijpen van deze mechanismen is cruciaal voor het optimaliseren grootschalige modeltraining.
Chung stelt dat de huidige objectieve functie, Maximum Likelihood, die wordt gebruikt voor LLM-vooropleiding een knelpunt is als het gaat om het bereiken van werkelijk enorme schaalgroottes, zoals 10,000 maal de capaciteit van GPT-4. Naarmate machine learning vordert, worden handmatig ontworpen verliesfuncties steeds beperkender.
Chung suggereert dat het volgende paradigma in de ontwikkeling van AI het leren van functies via afzonderlijke algoritmen omvat. Deze benadering, hoewel nog in de kinderschoenen, houdt de belofte in van schaalbaarheid die verder gaat dan de huidige beperkingen. Hij benadrukt ook de lopende inspanningen, zoals Reinforcement Learning from Human Feedback (RLHF) met Rule Modeling, als stappen in deze richting, hoewel er nog uitdagingen moeten worden overwonnen.
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
