GPT-4Az amerikai ügyvédi vizsgán nyújtott teljesítménye ellentmond az állításainak
Röviden
A vizsgálat GPT-4Az egységes ügyvédi vizsgán nyújtott teljesítménye eltérést tárt fel a becsült és a tényleges teljesítmény között, hangsúlyozva az átlátható értékelési eljárások és a hozzáférhető adatok fontosságát.
OpenAI arra ösztönzik, hogy kezelje az eltéréseket, és dolgozzon ki egy átfogóbb és megbízhatóbb megközelítést az AI-modell értékeléséhez a bizalom elnyerése és a hitelesség biztosítása érdekében.
A közelmúltban végzett vizsgálat során GPT-4teljesítménye az egységes ügyvédi vizsgán (EBU), kétségek merültek fel a pontosságával kapcsolatban OpenAIa modell sikerarányával kapcsolatos állításai. A kezdeti állítással ellentétben GPT-4 felülmúlja az egyének 90%-át, az eredmények jelentős eltérésre utalnak az AI-modell becsült és tényleges teljesítménye között. Ez a feltárás hangsúlyozza az átlátható értékelési eljárások és a hozzáférhető adatok fontosságát az ilyen állítások érvényesítéséhez.
A vizsgálat különböző tényezőkre összpontosított, hogy megbizonyosodjon a valódi képességeiről GPT-4. Először is a elemzés az illinoisi februári vizsgákról kiderült GPT-4pontszámai megközelítették a 90. százalék. Megfigyelték azonban, hogy ezeket a pontszámokat erősen befolyásolták azok az újravizsgálók, akik korábban megbuktak a júliusi vizsgán, és így az általános átlag alatt értek el pontszámot.
Ráadásul a júliusi vizsga eredménye ellentmondott OpenAIállításaiból, amiből kiderül GPT-4 csak teljesítményben felülmúl az emberek 68%-a és az esszék 48%-a. GPT-4Az első alkalommal végzettekkel szembeni teljesítményét (az ismétléseket leszámítva) a 63. percentilisnél értékelték, amikor több, különböző időszakokban végzett teszt hivatalos adatait is figyelembe vették, és az esszék lényegesen alacsonyabb pontszámot értek el a 41. percentilisnél.
További perspektívát nyert a sikeres vizsgák teljesítményének vizsgálata, beleértve az engedéllyel rendelkezőket és az engedélyre várókat. Ebben a tekintetben, GPT-4az összesített teljesítményt a 48. percentilisbe sorolták, az esszék pedig még rosszabbul teljesítettek a 15. percentilisnél.
Bár ezek a megállapítások aggasztóak, kritikus fontosságú, hogy mérlegeljük az emberi hiba lehetőségét a felülvizsgálati folyamatban. A cikk szerzője hangsúlyozza a kutatók által az értékeléshez felhasznált minta megértésének fontosságát GPT-4teljesítménye. A hivatalos adatok hiánya, különösen aggregált formában, megnehezíti a százalékosok igazságos összehasonlítását és értékelését. Létfontosságú olyan világos és hozzáférhető értékelési technikák kialakítása, amelyeket minden érdekelt fél értékelni tud.
Válaszul ezekre az aggodalmakra, OpenAI felszólítják az eltérések orvoslására és további betekintést nyújtani az értékelési folyamatba. Az átláthatóság és a nyitottság elengedhetetlen a bizalom elnyeréséhez és az AI-modellek hitelességének biztosításához olyan nagy téttel bíró területeken, mint például a jog.
Megjegyzendő, hogy a cikk nem tárgyalja az általa elért konkrét pontszámot GPT-4Ennek a pontszámnak a jelentőségének értékeléséhez szükség van az alkalmazott osztályozási rendszer kontextus szerinti megértésére. Ahogy az iskolából B betűvel hazatérő gyerek ünnepre vagy csalódásra adhat okot, úgy értelmezhető a GPT-4pontszáma az alkalmazott skálától függ.
A) GPT-4az ügyvédi vizsgán nyújtott teljesítménye komoly aggályokat vet fel valódiságáról OpenAIkezdeti állításai. A becsült és a tényleges teljesítmény közötti különbség hangsúlyozza az egyértelmű értékelési rendszerek és a könnyen hozzáférhető adatok fontosságát. OpenAI arra ösztönzik, hogy foglalkozzon ezekkel a kihívásokkal és dolgozzon ki egy befogadóbb és megbízható megközelítés az AI-hoz modellértékelés.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
