Phi-1, kompakts valodas modelis, apsteidz GPT programmā Efektīva kodu ģenerēšana
Īsumā
Pētnieki izstrādāja Phi-1, a kompakts valodas modelis efektīvai koda ģenerēšanai, izmantojot 1.3 miljardus parametru un mazāku apmācības datu kopu.
Neskatoties uz mazāku izmēru, tas sasniedz iespaidīgus rezultātus, ar pass@1 precizitāti 50.6% HumanEval un 55.5% MBPP etalonos.
Phi-1, kompakts, bet jaudīgs modelis, kas īpaši izstrādāts koda ģenerēšanas uzdevumiem. Atšķirībā no saviem priekšgājējiem, Phi-1 demonstrē izcilu veiktspēju kodēšanas un citu saistīto uzdevumu veikšanā, vienlaikus izmantojot ievērojami mazāk parametru un mazāku apmācības datu kopu.
| Ieteicams: 12 labākie AI kodēšanas rīki 2023. gadā |
Phi-1, uz transformatoriem balstīts modelis, izceļas tikai ar 1.3 miljardiem parametru, kas ir tikai daļa no citu konkurējošo modeļu izmēra. Jāatzīmē, ka tas tika apmācīts tikai četrās dienās, izmantojot astoņas A100. Apmācības process ietvēra rūpīgi atlasītus “mācību grāmatu kvalitātes” datus, kas iegūti no tīmekļa (6 miljardi marķieru), un sintētiskās mācību grāmatas un vingrinājumus, kas tika ģenerēti, izmantojot GPT-35 (1 miljards žetonu).
Neskatoties uz mazāku mērogu, Phi-1 sasniedz iespaidīgus rezultātus, lepojas ar pass@1 precizitāti 50.6% HumanEval un 55.5% MBPP etalonos. Turklāt tam piemīt negaidītas jaunas īpašības, salīdzinot ar Phi-1-base, agrāku modeli pirms precizēšanas, un Phi-1-small, mazāku modeli ar 350 miljoniem parametru. Pat ar samazinātu izmēru, Phi-1 joprojām sasniedz slavējamu 45% precizitāti ar HumanEval.
Phi-1 panākumus var saistīt ar apmācību laikā izmantotajiem augstas kvalitātes datiem. Tāpat kā visaptveroša un labi izstrādāta mācību grāmata palīdz studentiem apgūt jaunus priekšmetus, pētnieki koncentrējās uz "mācību grāmatu kvalitātes" datu veidošanu, lai uzlabotu mācību procesa efektivitāti. valodas modelis. Šīs pieejas rezultātā tika izveidots modelis, kas pārspēj lielāko daļu atvērtā koda modeļu kodēšanas etalonos, piemēram, HumanEval un MBPP, neskatoties uz tā mazāko modeļa izmēru un datu kopas apjomu.
Tomēr ir svarīgi atzīmēt dažus Phi-1 ierobežojumus salīdzinājumā ar lielākiem modeļiem. Pirmkārt, Phi-1 specializējas Python kodēšanā, un tam trūkst daudzvalodu modeļu daudzpusības. Turklāt tai trūkst zināšanu par domēnu, kas atrodamas lielākos modeļos, piemēram, programmēšana ar specifiskām API vai mazāk izplatītu pakotņu izmantošana. Visbeidzot, datu kopu strukturētā rakstura un valodas un stila daudzveidības trūkuma dēļ Phi-1 ir mazāk izturīgs pret stilistiskām variācijām vai kļūdām uzvednē.
Pētnieki atzīst šos ierobežojumus un uzskata, ka turpmākais darbs var risināt katru no tiem. Viņi ierosina lietot GPT-4 ģenerēt sintētiskos datus GPT-3.5, jo viņi novēroja augstu kļūdu īpatsvaru pēdējās datos. Neskatoties uz kļūdām, Phi-1 demonstrē ievērojamas kodēšanas prasmes, līdzīgi kā iepriekšējā pētījumā, kurā a valodas modelis radīja pareizas atbildes pat tad, ja tika apmācīti dati ar 100% kļūdu līmeni.
Lasiet vairāk par AI:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
