De bittere les: waarom ChatGPT Zegevierde over handgemaakte computertechnieken
In het kort
Het essay van professor Rich Sutton uit 2019, "The Bitter Lesson", voorspelt aanzienlijke vooruitgang in AI, zoals ChatGPT/GPT-4 en OpenAI's methodieken.
De tekst benadrukt de paradigmaverschuiving in AI, waar computationele methoden de prestaties domineren zonder menselijke intuïtie.
Echter, veel onderzoekers blijven op intuïtie gebaseerde benaderingen nastreven, waarbij het potentieel van rekengestuurde methoden over het hoofd wordt gezien.
Het essay "De bittere les”, geschreven door professor Rich Sutton in 2019, is sindsdien aan belang gewonnen voor experts op het gebied van machine learning en mensen die geïnteresseerd zijn in het begrijpen van de toekomst van AI. Inzichten in dit document voorzagen belangrijke ontwikkelingen in AI, waaronder de opkomst van ChatGPT/GPT-4 en de acceptatie van OpenAI's methodieken.
De kern van "The Bitter Lesson" onderzoekt een paradigmaverschuiving op het gebied van AI. In het verleden hadden wetenschappers die AI bestudeerden de neiging om te denken dat het ontwikkelen van geavanceerde AI een opmerkelijke, onderscheidende aanpak vereiste, ook wel bekend als een 'inductieve bias'. Dit idee verwijst naar de toevoeging van gespecialiseerde informatie of intuïtief begrip van een specifiek probleem, dat vervolgens het oplossingspad van de machine stuurt.
Het centrale thema van "The Bitter Lesson" onderzoekt een paradigmaverschuiving in de studie van kunstmatige intelligentie. Voorheen waren onderzoekers die AI bestudeerden geneigd te geloven dat het creëren van geavanceerde AI een opmerkelijke, unieke aanpak vereiste. Deze bias wordt de "inductieve bias" genoemd. Dit concept suggereert de toevoeging van gespecialiseerde kennis of intuïtief inzicht in een bepaald probleem, dat vervolgens het oplossingspad van de machine stuurt.
Maar er werd een terugkerend patroon zichtbaar. Onderzoekers ontdekten dat herhaaldelijk door simpelweg meer toe te voegen gegevens en rekenkracht, zouden ze beter kunnen presteren dan de resultaten van deze nauwgezet vervaardigde methoden. Dit patroon was niet specifiek voor één veld, maar verscheen ook in schaken, go, starcraft en waarschijnlijk ook in nethack. Convolutionele neurale netwerkenpresteren bijvoorbeeld beter op het gebied van computervisie dan handmatige technieken zoals ZIFTEN. Het is interessant om op te merken dat de uitvinder van SIFT later zei dat als er neurale netwerken waren geweest toen hij zijn onderzoek uitvoerde, hij voor die handelwijze zou hebben gekozen. vergelijkbaar met dit, LSTM's presteerden beter dan alle op regels gebaseerde systemen op het gebied van machinevertaling. Met behulp van een eenvoudige "meer lagen toevoegen" -strategie, ChatGPT/GPT-4, een toonaangevend voorbeeld van deze trend, was in staat hoogontwikkelde modellen van computationele taalkundigen te overtreffen.
De kern van Suttons 'bittere les' is dat computationele methoden die niet zijn aangepast door menselijke intuïtie vaak beter presteren dan andere benaderingen. Dit begrip is echter nog niet algemeen aanvaard. Veel onderzoekers volgen nog steeds complexe, op intuïtie gebaseerde strategieën, waarbij ze vaak het potentieel van inclusieve, op berekeningen gebaseerde benaderingen negeren.
Vijf redenen waarom GPT zegevierde over handgemaakte computertechnieken:
- Schaalbaarheid: Computationele methoden, vooral wanneer ze worden uitgebreid met meer gegevens, hebben het potentieel om te evolueren en aan te passen naarmate de technologie vordert, waardoor ze toekomstbestendiger worden.
- Efficiënt: Algemene methoden op basis van berekeningen en gegevens hebben consequent beter gepresteerd dan gespecialiseerde, op menselijke intuïtie gebaseerde methoden in verschillende domeinen, van spellen als schaken en Go tot machinevertaling en computervisie.
- Brede toepasbaarheid: Deze algemene, computergestuurde methoden zijn veelzijdig en kunnen in verschillende disciplines worden toegepast zonder dat er domeinspecifieke aanpassingen nodig zijn.
- Eenvoud: Systemen gebouwd op raw rekenkracht en gegevens zijn doorgaans eenvoudiger in hun benadering, zonder de noodzaak van ingewikkelde aanpassingen op basis van menselijke intuïtie.
- Consistente prestaties: Zoals blijkt uit voorbeelden als ChatGPT/GPT-4Op berekeningen gebaseerde modellen kunnen consistente hoge prestaties leveren, waarbij ze vaak gespecialiseerde methoden overtreffen.
Het originele essay is een waardevol hulpmiddel om een beter begrip te krijgen van het standpunt van professor Sutton en de principes die dit AI-traject leiden.
Het artikel is geïnspireerd door het Telegram-kanaal “Weer Boris."
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
