Phi-1, een compact taalmodel, overtreft GPT in het efficiënt genereren van code
In het kort
Onderzoekers ontwikkelden Phi-1, een compact taalmodel voor efficiënte codegeneratie, met behulp van 1.3 miljard parameters en een kleinere trainingsdataset.
Ondanks zijn kleinere formaat behaalt hij indrukwekkende resultaten, met een pass@1-nauwkeurigheid van 50.6% op HumanEval en 55.5% op MBPP-benchmarks.
Phi-1, een compact maar krachtig model dat speciaal is ontworpen voor het genereren van codes. In tegenstelling tot zijn voorgangers, demonstreert Phi-1 superieure prestaties bij het coderen en andere gerelateerde taken, terwijl het aanzienlijk minder parameters en een kleinere trainingsdataset gebruikt.
| Aanbevolen: 12 beste AI-coderingstools 2023 |
Phi-1, een op Transformer gebaseerd model, valt op door zijn slechts 1.3 miljard parameters, wat slechts een fractie is van de grootte van andere concurrerende modellen. Opmerkelijk genoeg werd er in slechts vier dagen getraind met acht A100’s. Het trainingsproces omvatte zorgvuldig samengestelde gegevens over de ‘leerboekkwaliteit’ afkomstig van internet (6 miljard tokens) en synthetische leerboeken en oefeningen die werden gegenereerd met de hulp van GPT-3.5 (1 miljard tokens).
Ondanks zijn kleinere schaal behaalt Phi-1 indrukwekkende resultaten, met een pass@1-nauwkeurigheid van 50.6% op HumanEval en 55.5% op MBPP-benchmarks. Bovendien vertoont het onverwachte opkomende eigenschappen in vergelijking met Phi-1-base, een eerder model vóór fijnafstelling, en Phi-1-small, een kleiner model met 350 miljoen parameters. Zelfs met zijn kleinere formaat bereikt Phi-1 nog steeds een lovenswaardige nauwkeurigheid van 45% op HumanEval.
Het succes van Phi-1 kan worden toegeschreven aan de hoogwaardige gegevens die tijdens de training worden gebruikt. Net zoals een uitgebreid en goed gemaakt leerboek studenten helpt nieuwe onderwerpen onder de knie te krijgen, concentreerden de onderzoekers zich op het maken van gegevens van "leerboekkwaliteit" om de leerefficiëntie van de leerboeken te verbeteren. taalmodel. Deze benadering resulteerde in een model dat de meeste open-sourcemodellen overtreft op het gebied van coderingsbenchmarks zoals HumanEval en MBPP, ondanks de kleinere modelgrootte en het datasetvolume.
Het is echter belangrijk om enkele beperkingen van Phi-1 op te merken in vergelijking met grotere modellen. Ten eerste is Phi-1 gespecialiseerd in Python-codering en mist het de veelzijdigheid van meertalige modellen. Bovendien mist het domeinspecifieke kennis die in grotere modellen wordt gevonden, zoals programmeren met specifieke API's of het gebruik van minder gebruikelijke pakketten. Ten slotte is Phi-1 vanwege de gestructureerde aard van de datasets en het gebrek aan diversiteit in taal en stijl minder bestand tegen stilistische variaties of fouten in de prompt.
De onderzoekers erkennen deze beperkingen en zijn van mening dat verder werk elk van deze beperkingen kan aanpakken. Ze stellen voor om te gebruiken GPT-4 om synthetische gegevens te genereren in plaats van GPT-3.5, omdat ze een hoog foutenpercentage in de gegevens van laatstgenoemde constateerden. Ondanks de fouten vertoont Phi-1 een opmerkelijke codeervaardigheid, vergelijkbaar met een eerder onderzoek waarin a taalmodel produceerde correcte antwoorden, zelfs wanneer getraind op gegevens met een foutenpercentage van 100%.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
