Guanaco komt naar voren als een potentiële open source ChatGPT Concurrent
In het kort
Guanaco, een open-source chatbot ontwikkeld door onderzoekers van de Universiteit van Washington, wil concurreren met ChatGPT terwijl er minder tijd en geld nodig is voor training.
Een nieuwe studie heeft echter vraagtekens gezet bij de werkzaamheid van modellen zoals Alpaca.
Dat hebben onderzoekers van de Universiteit van Washington onthuld guanaco, een open-source chatbot die de prestaties van ChatGPT terwijl de tijd en middelen die nodig zijn voor training aanzienlijk worden verminderd. Vernoemd naar een Zuid-Amerikaans familielid van llamas, Guanaco is gebouwd op de LLaMA taalmodel en bevat een nieuwe verfijningsmethode genaamd QLoRA.
De makers van Guanaco beweren dat het vergelijkbare prestaties behaalt ChatGPT maar kan in slechts één dag worden getraind. Deze opmerkelijke prestatie wordt mogelijk gemaakt door QLoRA, een techniek voor het afstemmen van taalmodellen die de hoeveelheid GPU-geheugen die nodig is voor training aanzienlijk vermindert. Terwijl ChatGPT vereist maar liefst 780 GB GPU-geheugen voor een model met 65 miljard parameters heeft de eenvoudigste versie van Guanaco slechts 5 GB nodig.
Met deze indrukwekkende efficiëntiewinsten dagen Guanaco en vergelijkbare open-sourcemodellen het idee uit dat dure training nodig is state-of-the-art taalmodellen. De opkomst van Guanaco, Alpaca en andere modellen dat trainen tegen een fractie van de prijs heeft geleid tot speculaties over de toekomst van dure modellen zoals GPT.
Niet iedereen is het echter eens met deze optimistische kijk op open-sourcemodellen. Een recent onderzoek uitgevoerd door de Universiteit van Californië heeft twijfel gezaaid over de mogelijkheden van modellen als alpaca's en riep vragen op over hun ware potentieel. Aanvankelijk kwamen de onderzoekers tot een soortgelijke conclusie als de makers van Guanaco: als ze goed zijn opgeleid, kunnen open-sourcemodellen concurreren GPT qua mogelijkheden. Verdere tests brachten een aanzienlijke beperking aan het licht. Deze ‘Dolly’-modellen, zoals ze soms worden genoemd, zijn bedreven in het imiteren van oplossingen voor problemen die ze tijdens de training zijn tegengekomen. Ze hebben echter moeite om goed te presteren bij taken waaraan ze niet expliciet zijn blootgesteld, en lopen achter op meer geavanceerde modellen.
Deze onthulling suggereert dat de miljoenen geïnvesteerd in opleiding GPT en vergelijkbare modellen zijn misschien niet voor niets geweest. Hoewel Guanaco en zijn tegenhangers veelbelovende resultaten laten zien, zijn er nog steeds gebieden waarop meer geavanceerde modellen uitblinken. Het is vermeldenswaard dat de onderzoek uitgevoerd door de Universiteit van Californië daagt het heersende idee uit dat open-sourcemodellen dure modellen volledig kunnen vervangen GPT.
Naarmate het gebied van natuurlijke taalverwerking evolueert, zal het interessant zijn om te zien hoe Guanaco en andere open-sourcemodellen het opnemen tegen gevestigde maatstaven zoals ChatGPT. De hoge mate van innovatie en continu onderzoek zullen zonder enige twijfel van invloed zijn op de toekomst van taalmodellen en bepalen welke modellen de beste keuze worden voor bepaalde toepassingen.
- Dolly 2.0, de eerste commercieel verkrijgbare open-source 12B Chat-LLM, is aangekondigd door Databricks. Dit is een aanzienlijke vooruitgang voor de machine learning-industrie, waardoor bedrijven effectieve taalmodellen kunnen maken zonder te investeren in dure GPU-clusters. Databricks nam 5,000 werknemers in dienst om hun open-source taalmodel te creëren, waaronder EleutherAI's Pythia-12B-taalmodel onder een MIT-licentie. Dolly 2.0, evenals de bijbehorende code, is beschikbaar onder een MIT-licentie. Dolly 2.0 heeft het potentieel om de industrie te veranderen en is een belangrijke stap voorwaarts voor machine learning.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
