Nieuwsverslag Technologie
24 juli 2023

StabilityAI en CarperAI Lab introduceren open-source LLM FreeWilly met verbeterde redeneermogelijkheden

StabilityAI en het CarperAI-team heeft twee nieuwe open-source Large Language Models (LLM's) onthuld, genaamd FreeWilly1 en FreeWilly2. Deze modellen onderscheiden zich op het gebied van LLM's vanwege hun verbeterde redeneervermogen.

Stability AI en CarperAI Lab introduceren FreeWilly met verbeterde redeneringsmogelijkheden
Krediet: PR Newswire

FreeWilly1 is gebouwd op de LLaMA 65B-model en is verfijnd met een synthetisch gegenereerde dataset. FreeWilly2 is gebouwd op de LLaMA 2 70B-model en vertoont prestaties die vergelijkbaar zijn met GPT-3.5 voor bepaalde taken. De trainingsmethodologieën voor deze modellen werden beïnvloed door Onderzoek van Microsoft, zoals beschreven in hun artikel getiteld “Orca: Progressive Learning from Complex Explanation Traces of GPT-4. ' Stability AIDe aanpak van de onderneming bestond uit het aanzetten van taalmodellen met instructies van hoge kwaliteit om een ​​dataset te creëren met 600,000 datapunten. Deze datasetgrootte is ongeveer 10% van wat werd gebruikt in het oorspronkelijke Orka-onderzoek. Ondanks deze kleinere omvang van de dataset hebben de FreeWilly-modellen uitzonderlijke prestaties laten zien in verschillende benchmarks.

Het gegevensgeneratieproces omvatte het creëren van 500,000 cases met behulp van een minder ingewikkelde LLM-model en nog eens 100,000 gevallen met een complexer LLM-model. Om geldige vergelijkingen te garanderen, werden de datasets zorgvuldig gescreend om gevallen te verwijderen die voortkwamen uit evaluatiebenchmarks. De effectiviteit van deze synthetisch gegenereerde dataset blijkt duidelijk uit de prestaties van de FreeWilly-modellen, ook al werden ze getraind op een dataset die slechts een tiende van de grootte van het originele Orca-papier was.

Voor de evaluatie van deze modellen werkten de onderzoekers Eleuther AI, aangevuld met AGIEval. De bevindingen geven aan dat beide FreeWilly-modellen uitblinken in het aanpakken van uitdagende problemen op gespecialiseerde gebieden zoals rechten en wiskunde. Ze demonstreren ook ingewikkeld redeneren en een scherp begrip van taalnuances. Het CarperAI-team is optimistisch over het potentieel van deze modellen om ons begrip van gesproken taal te verbeteren en staat te popelen om getuige te zijn van hun innovatieve toepassingen op het gebied van kunstmatige intelligentie.

Voor een uitgebreid begrip van FreeWilly1 en FreeWilly2, de Referentieartikel en projectpagina geven gedetailleerde inzichten.

LLaMa-2: Een nieuw tijdperk in taalmodellen in het publieke domein

LLaMa-2 is de premier taalmodel in het publieke domein van vandaag, wat de weg vrijmaakt voor de voortdurende evolutie en inzet van Large Language Models (LLM's) in verschillende producten. Zijn voorganger, LLaMa-1, de basis gelegd door talloze impactvolle projecten te inspireren. Met de introductie van LLaMa-2 zijn de vooruitzichten voor gebruik in diverse toepassingen zelfs nog groter, vooral gezien de mogelijkheid voor gratis commercieel gebruik.

In een recente dialoog met de BBC, besprak Nick Clegg, een opmerkelijke figuur van Meta, de beslissing om LLM's vrij te geven als open-source. Volgens Clegg vergroot een dergelijke stap de veiligheid van deze modellen, vooral omdat het diepgaand onderzoek en analyse door externe entiteiten mogelijk maakt.

Enkele belangrijke observaties van Clegg zijn:

  • LLaMa-2 zet een nieuwe standaard op het gebied van beveiliging onder open-sourcemodellen. Deze bewering vindt steun in de benchmarks die worden genoemd in het gelinkte artikel.
  • Bezorgdheid aanpakken over mogelijke existentiële bedreigingen van AI, meende Clegg dat het discours misschien iets voorloopt op de daadwerkelijke technologische mogelijkheden. Hij onderstreepte dat de meeste zorgen verband houden met hypothetische ultrageavanceerde AI-modellen – modellen met een ongeëvenaarde intelligentie, autonomie en zelfreplicerende vermogens. In schril contrast hiermee beschreef Clegg de open source-modellen van meta, waaronder LLaMa-2, als duidelijk rudimentair.
  • Hoewel hij vast gelooft in de regulering van AI, benadrukte Clegg dat het niet noodzakelijk is dat elk AI-model open-source is.

Meta's inzet voor transparantie en bijdrage aan de bredere gemeenschap blijkt duidelijk uit hun tien jaar lange staat van dienst. In de afgelopen tien jaar heeft het bedrijf meer dan 1000 modellen, bibliotheken en datasets beschikbaar gesteld voor openbaar gebruik. Prominente releases zijn onder meer React, PyTorch en de meer recente 'Segmenteer alles' model.

  • Onlangs Meta is vrijgegeven LLaMa-2-Chat-modellen, een belangrijke doorbraak in open-source AI. Deze modellen, met 70 miljard parameters, zijn vergelijkbaar met GPT-3.5 en overtref benchmarks. Ze zijn verfijnd met behulp van RLHF (Reinforcement Learning from Human Feedback) en bieden gepersonaliseerd onderwijs ChatGPT equivalenten, menselijke evaluatiestatistieken en wiskundige probleemoplossende capaciteiten. Het model is het eerste van zijn formaat dat is verfijnd met behulp van RLHF, waardoor het nog opvallender is. Meta heeft dit model volledig gratis gemaakt voor commercieel gebruik. Een belangrijk voordeel van LLaMa-2-Chat is zijn potentieel om te creëren ChatGPT analogen zonder er gegevens mee te delen OpenAI, waardoor ontwikkelaars en onderzoekers de kracht van het model kunnen benutten terwijl ze de volledige controle over hun gegevens behouden.

Lees meer over AI:

Tags:

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen
Damir Jalalov
Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Van Ripple tot The Big Green DAO: hoe cryptocurrency-projecten bijdragen aan liefdadigheid

Laten we initiatieven onderzoeken die het potentieel van digitale valuta voor goede doelen benutten.

Meer weten

AlphaFold 3, Med-Gemini en anderen: de manier waarop AI de gezondheidszorg transformeert in 2024

AI manifesteert zich op verschillende manieren in de gezondheidszorg, van het blootleggen van nieuwe genetische correlaties tot het versterken van robotchirurgische systemen...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
Pyth Network implementeert Oracle op Solana, waardoor ontwikkelaars toegang krijgen tot Oracle-prijzen
Nieuwsverslag Technologie
Pyth Network implementeert Oracle op Solana, waardoor ontwikkelaars toegang krijgen tot Oracle-prijzen
17 June 2024
Aethir's AI- en gamingpartners Airdrop Tokens voor de Checker-knooppunthouders
Featured Nieuwsverslag Technologie
Aethir's AI- en gamingpartners Airdrop Tokens voor de Checker-knooppunthouders
17 June 2024
Notional Finance gaat V2 eind juli volledig afschaffen en spoort gebruikers aan om over te stappen naar V3
Nieuwsverslag Technologie
Notional Finance gaat V2 eind juli volledig afschaffen en spoort gebruikers aan om over te stappen naar V3
17 June 2024
Tether lanceert een legeringsplatform ondersteund door Tether Gold en introduceert het eerste token, een USD₮
markten Nieuwsverslag Technologie
Tether lanceert een legeringsplatform ondersteund door Tether Gold en introduceert het eerste token, een USD₮
17 June 2024