Gvanako parādās kā potenciāls atvērtā koda avots ChatGPT Sacensību dalībnieks
Īsumā
Guanaco, atklātā pirmkoda tērzēšanas robots, ko izstrādājuši Vašingtonas Universitātes pētnieki, vēlas konkurēt ar ChatGPT vienlaikus prasa mazāk laika un naudas apmācībai.
Tomēr jauns pētījums ir apšaubījis tādu modeļu kā Alpaka efektivitāti.
Pētnieki no Vašingtonas universitātes ir atklājuši Gvanako, atvērtā koda tērzēšanas robots, kura mērķis ir konkurēt ar veiktspēju ChatGPT vienlaikus ievērojami samazinot apmācībām nepieciešamo laiku un resursus. Nosaukts Dienvidamerikas radinieka vārdā llamas, Gvanako ir uzcelta uz LLaMA valodas modeli un ietver jaunu precizēšanas metodi, ko sauc par QLoRA.
Guanako veidotāji apgalvo, ka tā veiktspēja ir salīdzināma ar ChatGPT bet to var apmācīt tikai vienas dienas laikā. Šo ievērojamo varoņdarbu padara iespējamu QLoRA — valodas modeļa precizēšanas tehnika, kas ievērojami samazina apmācībai nepieciešamās GPU atmiņas apjomu. Kamēr ChatGPT prasa milzīgu 780 GB GPU atmiņu modelim ar 65 miljardiem parametru Guanako vienkāršākā versija prasa tikai 5 GB.
Pateicoties šiem iespaidīgajiem efektivitātes uzlabojumiem, Guanaco un līdzīgi atvērtā pirmkoda modeļi apšauba priekšstatu, ka ir nepieciešama dārga apmācība. vismodernākie valodu modeļi. Gvanako parādīšanās, Alpaka, un citi modeļi ka vilciens par nelielu daļu no izmaksām ir izraisījis spekulācijas par tādu dārgu modeļu nākotni kā GPT.
Tomēr ne visi piekrīt šim optimistiskajam skatījumam uz atvērtā pirmkoda modeļiem. Nesen veikts pētījums, ko veica Kalifornijas universitāte ir radījis šaubas par tādu modeļu iespējām kā alpakas un radīja jautājumus par to patieso potenciālu. Sākotnēji pētnieki nonāca pie līdzīga secinājuma ar Gvanako radītājiem: ja tie ir pareizi apmācīti, atvērtā koda modeļi var konkurēt GPT spējās. Turpmākie testi atklāja būtisku ierobežojumu. Šie “Dolly” modeļi, kā tos dažreiz sauc, ir prasmīgi atdarināt risinājumus problēmām, ar kurām viņi ir saskārušies apmācības laikā. Tomēr viņiem ir grūti veikt labus uzdevumus, ar kuriem viņi nav bijuši pakļauti, atpaliekot no progresīvākiem modeļiem.
Šī atklāsme liek domāt, ka apmācībās ieguldīti miljoni GPT un līdzīgi modeļi varbūt nebija velti. Lai gan Guanako un tā kolēģi demonstrē daudzsološus rezultātus, joprojām ir jomas, kurās izceļas sarežģītāki modeļi. Ir vērts atzīmēt, ka Kalifornijas universitātes veikto pētījumu apstrīd dominējošo uzskatu, ka atvērtā pirmkoda modeļi var pilnībā aizstāt tādus dārgus modeļus kā GPT.
Attīstoties dabiskās valodas apstrādes jomai, būs interesanti vērot, kā Gvanako un citi atvērtā pirmkoda modeļi konkurē ar pazīstamiem. kritēriji, piemēram, ChatGPT. Augstais inovāciju līmenis un nepārtraukta izpēte, bez šaubām, ietekmēs valodu modeļu nākotni un noteiks, kuri modeļi kļūs par piemērotāko konkrētu lietojumu izvēlei.
- Dolly 2.0, pirmā komerciāli pieejamā atvērtā pirmkoda 12B Chat-LLM, ir paziņots ar Databricks. Tas ir būtisks sasniegums mašīnmācīšanās nozarei, ļaujot uzņēmumiem izveidot efektīvus valodu modeļus, neieguldot dārgos GPU klasteros. Databricks piesaistīja 5,000 darbinieku, lai izveidotu savu atvērtā pirmkoda valodas modeli, kas ietvēra EleutherAI Pythia-12B valodas modeli saskaņā ar MIT licenci. Dolly 2.0, kā arī saistītais kods ir pieejams saskaņā ar MIT licenci. Dolly 2.0 var mainīt nozari, un tas ir nozīmīgs solis uz priekšu mašīnmācībā.
Lasiet vairāk par AI:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
