OpenAI: Uusi prosessivalvottu palkkiomallinnus parantaa tekoälyn päättelyä
Lyhyesti
OpenAIProsessin ohjatun palkkiomallinnuksen (PRM) tavoitteena on arvioida tekoälymallien välivaiheita ja perusteluja, mikä parantaa suorituskykyä ja mittareita.
OpenAI on jälleen kerran vanginnut tekoälyyhteisön huomion uraauurtavalla työllään prosessiohjatun palkkiomallinnuksen parissa (liikuntarajoitteisten). Tämän innovatiivisen lähestymistavan tavoitteena on arvioida tekoälymallien välivaiheita ja perusteluja, mikä johtaa parempaan suorituskykyyn ja mittareihin.
Perinteisessä vahvistuksessa ihmispalautteesta oppiminen (RLHF), mallipalaute annetaan tyypillisesti mallin tuottaman kokonaistuloksen perusteella. Kuitenkin, OpenAIUusi tutkimus pohtii ajatusta arvioida mallin yksittäisiä vaiheita ja päättelyprosesseja. Näin he voivat tarjota tarkempia arvioita ja palautetta.
Tämän ongelman ratkaisemiseksi OpenAI valittuja matemaattisia tehtäviä, jotka vaativat useita toimia. Erillinen malli oli koulutettu arvioimaan tehokkaasti välivaiheita ja toimimaan kriitikkona tunnistamaan ensisijaisen mallin tekemät virheelliset arviot. Tämä prosessi ei vain paranna yleistä suorituskykyä, vaan myös parantaa mittareita, joita käytetään mallin ominaisuuksien arvioinnissa.
OpenAI on edistynyt merkittävästi tällä alueella julkaisemalla huolellisesti kuratoidun tietojoukon, joka koostuu 800,000 XNUMX merkittyä tuomiota. Jokainen tuomio edustaa erillistä vaihetta matemaattisten ongelmien ratkaisemisessa ja on luotu manuaalisesti. Tämä korostaa omistautumisen ja resurssien tasoa OpenAI investoi korkealaatuisten tietokokonaisuuksien kehittämiseen, herättää kysymyksiä muille aloille, kuten ohjelmointiin tai avoimiin kysymyksiin, kerätyn tiedon määrästä.
Koulutus GPT-4, OpenAIn viimeisin iteraatio GPT sarja on jo hyvässä vauhdissa. Vaikka RLHF-komponenttia ei ole sisällytetty nykyisiin kokeisiin, käytetään puhdasta kielimallia. Erityisesti OpenAI mainitsee, että siitä on olemassa useita versioita GPT-4, ja pieninkin versio vaatii huomattavasti vähemmän resursseja harjoitteluun – noin 200 kertaa vähemmän.
Kiinnostava esimerkki, jonka on jakanut OpenAI näyttää kuinka malli arvioi jokainen yksittäinen päätöksentekovaihe. Viestiin sisältyvässä kuvakaappauksessa ratkaisun virheet merkitään ja niille annetaan alhaisin oikea pistemäärä, korostettuna punaisella. Tämä esittely korostaa mallin kykyä järkeillä ja antaa arvokkaita näkemyksiä sen päätöksentekoprosessista. OpenAI on myös antanut ohjeita merkintöihin, tarjoten joukkolähteille mahdollisuuksia osallistua ja hyötyä työstään.
As OpenAI jatkaa tekoälytutkimuksen rajojen työntämistä, niiden keskittyminen mallien päättelyyn ja prosessin ohjattuun palkitsemismallinnukseen tuo uusia mahdollisuuksia AI-valmiuksien parantamiseen. Tämä uusin läpimurto esittelee heidän sitoutumistaan mallien suorituskyvyn parantamiseen ja avaa ovia alan uusille edistyksille.
- Viime aikoina Applen kerrotaan rajoittavan työntekijöiden käyttöä ChatGPT ja muut tekoälyllä toimivat chatbotit tietosuojasyistä. The Wall Street Journal raportoi, että työntekijöitä on myös rajoitettu käyttämästä GitHubin tekoälytyökalua Copilot, joka avulla käyttäjät voivat kirjoittaa ohjelmistokoodin automaattisesti. ChatGPT on tekoälyllä toimiva chatbot, jonka on kehittänyt OpenAI, jota on kritisoitu yksityisyyden loukkauksista.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
