Tutkijat haastavat käsitteen suurten kielimallien "nousevista kyvyistä".
Lyhyesti
AGI-apokalypsi on huolenaihe, joka johtuu yhtäkkiä suurten kielimallien ilmiöstä kykyjen osoittamista joita pienemmissä malleissa ei näytä olevan.
Tätä ilmiötä kutsutaan "suurten kielimallien uusiksi kyvyiksi".
Artikkelin "Are Emergent Abilities of Large Language Models a Mirage?" kirjoittajat? väittävät, että nousevien kykyjen vaikutus ei ole kangastus, vaan pikemminkin ennustettavissa oleva kasvu kyvyssä suorittaa tehtäviä.
Ne osoittavat, että vähintään 92 prosentissa Big Bench -ongelmista ei ole äkillistä läpimurtoa suurille malleille, ja niiden mallien laatu kasvaa tasaisesti ja ennustettavasti mallien koon kasvaessa.
Äskettäin suurten kielimallien mahdollisia kykyjä koskevassa tutkimuksessa tutkijat haastavat "nousevien kykyjen" käsitteen ja valaisevat niiden toiminnallisuuden ennakoitavampaa puolta. Artikkeli "Paljastetaan suurten kielimallien uusien kykyjen realiteetit” kiinnittää huomion mittareiden väärintulkintaan, joka on johtanut siihen väärinkäsitykseen, että nämä mallit hankkivat spontaanisti edistyneitä taitoja.
Käsitenousevia kykyjä” suurten kielimallien, kuten esim GPT sarja, on herättänyt huolta näiden mallien mahdollisuudesta kehittää odottamattomia ominaisuuksia, jotka muistuttavat ihmistietoisuutta. Tässä artikkelissa väitetään, että nämä oletukset ovat perustuneet virheelliseen ymmärrykseen mallien todellisesta käyttäytymisestä ja kyvyistä.
Yleisesti havaittu ilmiö, jossa suuremmat mallit näyttävät saavan uusia kykyjä, kuten abstraktia päättelyä, ongelmanratkaisukykyä ja jopa huumoria, on luotu "suurten kielimallien nouseviksi kyvyiksi". Artikkelin kirjoittajat väittävät, että nämä kyvyt eivät ole niin spontaaneja kuin miltä ne näyttävät, vaan pikemminkin seurausta harhaanjohtavista arviointimittareista.
Tarkoituksensa havainnollistamiseksi tutkijat pitävät "arvaa arvoitusta" -ongelmana, jossa kielimallin on ymmärrettävä luonnollisen kielen arvoitus ja vastataan oikealla vastauksella luonnollisella kielellä. Perinteisesti vastausten laatua on arvioitu binäärimittarilla: vastaukselle annetaan pistemäärä 1, jos se vastaa täsmälleen oikeaa vastausta, ja 0 muussa tapauksessa.
Asian ydin on metriikan herkkyys tehtävän monimutkaisuuden suhteen ja malliparametrien määrä. Tutkijat paljastavat, että tämä binäärinen metriikka johtaa a petollinen käsitys "nousevista kyvyistä". Pienemmät mallit osoittavat usein mitätöntä tarkkuutta (eps) tällä mittarilla, kun taas suuremmat mallit, erityisesti ne, joiden parametrien määrä on suuri, näyttävät saavuttavan huomattavat tarkkuustasot (acc > 0.5).
Artikkelissa väitetään, että tämä ilmeinen muutos kyvyissä ei ole osoitus malleista, jotka spontaanisti hankkivat monimutkaisia taitoja. Sen sijaan mallien kyky ymmärtää ja tuottaa vivahteikkaampia vastauksia johtuu niiden tulosten tarkemmasta arvioinnista. Keskittymällä todennäköisyyspohjaiseen vastaavuuteen ja semanttiseen koherenssiin tarkkojen merkkijonojen täsmäämisen sijaan, tutkijat osoittavat, että mallien etenemistä suorituksessa noudattaa loogisempaa liikerataa koosta riippumatta.
Mallin suorituskyvyn kehityksen tutkiminen muuttuvien parametrien avulla
Analyyttisessä tutkimuksessa tutkijat paljastavat hienovaraisen mekaniikan havaittujen "nousevien kykyjen" takana. suuria kielimalleja. Tutkimus kyseenalaistaa superdiskreettien mittareiden vaikutuksen mallin suorituskyvyn arvioinnissa ja selventää niiden kykyjen ennakoivampaa ymmärrystä mallin parametrien laajentuessa.
Vallitseva käsitys "nousevista kyvyistä" ekspansiivisissa kielimalleissa on kiehtonut keskustelua ja herättänyt huolta mahdollisista läpimurroista. Tässä tutkimuksessa pyritään selvittämään ilmiön taustalla oleva mekaniikka ja selvittämään, onko näissä malleissa todellakin äkillisiä, ennennäkemättömiä ominaisuuksia vai voidaanko nämä havaitut edistysaskeleet johtua jostain muusta syystä.
Tutkimuksen ytimessä on mallin suorituskyvyn mittaamiseen käytettyjen mittareiden huolellinen arviointi. Tutkijat väittävät, että superdiskreettien mittareiden, erityisesti tavanomaisen binäärimetriikan, joka määrittää tarkat merkkijonovastaavuudet, käyttö saattaa vääristää suurten lukujen tulkintaa. kielimallin kykyjä. Tutkimuksessa analysoidaan tarkasti, miten mallin luomien vastausten todennäköisyysjakauma kehittyy malliparametrien mittakaavassa.
Toisin kuin "nousevien kykyjen" käsite, tutkimus paljastaa systemaattisemman suuntauksen. Mallin koon kasvaessa sen kyky antaa suurempia todennäköisyyksiä sopiville vastauksille ja pienempi todennäköisyydet väärille vastauksille paranee. Tämä kuvastaa johdonmukaista parannusta mallin kyvyssä ratkaista ongelmat taitavasti useissa eri kokoluokissa. Pohjimmiltaan tutkimus viittaa siihen, että mallien oppimisprosessi seuraa hyvindefiäkillisen harppauksen sijaan.
Kirjoittajat esittelevät paradigman muutoksen ehdottamalla diskreettien mittareiden korvaamista jatkuvilla mittareilla. Tämä muutos antaa selkeämmän kuvan suorituskyvyn kehityksestä. Analyysinsa avulla tutkijat varmistavat, että noin 92 prosenttia Big Benchin ongelmia Laadun tasainen ja ennustettava kasvu mallin koon kasvaessa. Tämä havainto haastaa käsityksen, että suuremmat mallit kokevat äkillisiä läpimurtoja, ja sen sijaan korostaa asteittaista ja odotettua edistymistä.
Tutkimus laajentaa näkemyksiään väitteidensä vahvistamiseksi. Se osoittaa, että samaa "syntyvien kykyjen" vaikutusta voidaan keinotekoisesti simuloida käyttämällä perinteisiä autoenkoodeja, mikä viittaa siihen, että mittareiden valinta vaikuttaa merkittävästi havaittuihin tuloksiin. Tämä paljastus laajentaa tutkimuksen merkityksiä ja osoittaa sen merkityksen pelkkien kielimallien lisäksi.
Tutkijat korostavat, että heidän tulokset eivät defisulkea pois "nousevien kykyjen" tai tietoisuuden mahdollisuudet suurissa kielimalleissa. Heidän havainnot rohkaisevat kuitenkin tutkijoita lähestymään tällaisia väitteitä vivahteesta näkökulmasta. Kiireisen ekstrapoloinnin ja äärimmäisten johtopäätösten tekemisen sijaan tutkimus korostaa huolellisen tutkimuksen ja kattavan analyysin merkitystä.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
