GPT-4 Pārspēj GPT-3.5 Vispār par dažādiem studiju kritērijiem
Īsumā
Jūsu darbs IR Klientu apkalpošana GPT-4 ir sasniedzis augstāku atzīmju slieksni nekā GPT-3.5 uz dažādiem etaloniem.
Tas ir nozīmīgs sasniegums, jo tas parāda, ka mašīnas spēj ne tikai iegūt cilvēkam līdzīgu inteliģenci, bet arī pārspēj mūs, kas rada jautājumus par AI nākotni un tās iespējamo ietekmi uz darba tirgu.
GPT-4 ir ievērojami labāki par modernākajiem (SOTA) modeļiem, tostarp tiem, kuros tiek izmantoti papildu apmācības protokoli vai etaloniem raksturīgs dizains, kā arī esošie lielo valodu modeļi.
Jūsu darbs IR Klientu apkalpošana GPT-4 ir ieguvis augstākus punktus nekā GPT-3.5 uz dažādiem etaloniem. Tas ir būtisks sasniegums mašīnām, jo tas pierāda, ka tagad tās var ne tikai atrisināt problēmas, kas sākotnēji bija paredzētas, bet arī spēj to izdarīt labāk nekā universitātes studenti.
Aplūkojot šo rezultātu, ir jāņem vērā dažas lietas. Pirmkārt, GPT-4 netika veikta īpaša apmācība šiem eksāmeniem. Tas notika, izmantojot jaunākos publiski pieejamos testus (olimpiādes un AP bezmaksas atbildes jautājumu gadījumā) vai iegādājoties 2022.–2023. gada prakses eksāmenu izdevumus. Otrkārt, ir svarīgi atzīmēt, ka GPT-4veiktspēja var ne vienmēr atspoguļot cilvēku spējas, kas veic testus, jo tas darbojas, izmantojot citu principu un algoritmu kopumu.
Tas ir liels sasniegums kā tas parāda ka mašīnas spēj ne tikai iegūt cilvēkam līdzīgu inteliģenci, bet arī pārspēt mūs. Tas paver ceļu nākotnei, kurā mašīnas var veikt arvien sarežģītākus uzdevumus, galu galā novedot pie nākotnes, kurā tās var mums palīdzēt mūsu ikdienas dzīvē.
GPT-4, piemēram, nokārto simulētu jurista eksāmenu ar rezultātu 10% labāko testa kārtotāju vidū; GPT-3.5 rezultāts bija zemākajos 10%. Šis nozīmīgais uzlabojums GPT-4veiktspēja ir saistīta ar lielākiem apmācības datiem un uzlabotu arhitektūru. Paredzams, ka tam būs plašs lietojumu klāsts dažādās jomās, tostarp dabiskās valodas apstrādē un automatizētā rakstīšanā.
GPT-4 uzrāda cilvēka līmeņa sniegumu lielākajā daļā šo profesionālo un akadēmisko eksāmenu. Konkrēti, tas izturēja vienotā stieņa eksāmena simulēto versiju ar rezultātu 10% labāko testa kārtotāju vidū. Šķiet, ka modeļa iespējas eksāmenos galvenokārt izriet no pirmsapmācības procesa, un RLHF to būtiski neietekmē. Jautājumos ar atbilžu variantiem gan pamats GPT-4 modelim un RLHF modelim pārbaudītā eksāmena izstrādātājiem vidēji bija vienlīdz labi rezultāti.
Lielākā daļa vismodernāko (SOTA) modeļu, tostarp tie, kuros var izmantot papildu apmācības protokolus vai etaloniem raksturīgu dizainu, kā arī esošie lielie modeļi valodu modeļi, ir ievērojami labāki par GPT-4.
Iekšēji izstrādātāji ir izmantojuši GPT-4, kas ir būtiski ietekmējis tādas darbības kā programmēšana, pārdošana, atbalsts un satura regulēšana. Šobrīd notiek mūsu pielīdzināšanas metodes otrais posms, jo izstrādātāji to izmanto, lai palīdzētu cilvēkiem pārskatīt AI rezultātus.
MMLU (Massive Multi-Task Language Understanding) datu kopa satur jautājumus no ļoti plaša tēmu loka par valodas izpratni dažādos uzdevumos (aptverot 57 jomas, tostarp matemātiku, bioloģiju, tiesības, sociālās un humanitārās zinātnes utt.). Uz jautājumu ir četras iespējamās atbildes, no kurām viena ir pareiza. Tas ir, nejauša minēšana parāda 25% pareizo atbilžu rezultātu. Skatiet attēlu zemāk, lai skatītu jautājumu piemērus un to grūtības. Vidējais cilvēks-marķieris (tas ir, tas nav zinātnieks, nevis profesors — parasts cilvēks, kurš iedegas mēness gaismā) pareizi atbild uz 35% jautājumu; tomēr eksperti var sasniegt +/- 90%.
Sākotnēji visa datu kopa bija angļu valodā. Bet ko darīt, ja jautājumi un atbildes tiek tulkoti citās valodās, īpaši retāk? Vai modelis viņiem kaut kā derēs? Šajā testā tulkošanai tika izmantots pakalpojums Microsoft Azure Translate. Tulkojumi nav perfekti; dažos gadījumos svarīga informācija tiek zaudēta. Tomēr pat šajā gadījumā GPT-4 labi darbojas citās valodās. MMLU tulkotajās versijās GPT-4 pārspēj citu lielo modeļu (tostarp Google) angļu valodas līmeni par 24 no 26 pārbaudītajām valodām.
Kas vēl, GPT-4 darbojas labāk retajās valodās nekā ChatGPT darīja angļu valodā (ChatGPT sasniedza 70.1% punktu, savukārt jaunā modeļa rezultāts taju valodā bija 71.8%. Pārbaudes rezultāts angļu valodā bija visaugstākais, ar GPT-4 kas darbojas par 10% labāk nekā citi modeļi, tostarp lielākais Google PaLM. Tas sasniedza 86.4%, bet ekspertu grupa — 90%.
- Līdz 2023. gada vasarai mākslīgais intelekts varētu būt sasniedzis jaunu jaudas līmeni, pateicoties ChatGPT, tērzēšanas robots, kas izmanto GPT-4 algoritms un pārspēj GPT-3 par koeficientu 570. To veicina dažādi elementi ChatGPTUzņēmuma panākumi, tostarp tā dizains, kas ir vairāk "līdzīgs cilvēkiem", un jaunākās datu ieguves un dabiskās valodas apstrādes izmantošana, lai palielinātu tās efektivitāti un precizitāti.
- Microsoft un OpenAI janvārī paziņoja par sadarbības atjaunošanu un Bing meklēšanas plāniem, lai ieviestu ar AI uzlabotas uzmeklēšanas iespējas. Ļoti izsmalcināts GPT3.5 modeļa nomaiņa, GPT4, ir tikko palaists, un tas var ievērojami uzlabot Bing meklēšanas spēju izprast dabiskās valodas vaicājumus un nodrošināt precīzākus rezultātus. Ir ieteicams izveidot labu rezerves plānu gadījumam, ja kaut kas noiet greizi.
Lasiet vairāk saistīto ziņu:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
