Nykypäivän suuret kielimallit ovat pieniä malleja, sanoo tutkija osoitteessa OpenAI
Hyung Won Chung, taitava tekoälytutkija, joka oli aiemmin Google Brainin palveluksessa ja on tällä hetkellä OpenAI tiimi piti ajatuksia herättävän 45 minuutin puheen, jossa hän tutki suurten kielimallien maailmaa vuonna 2023. Chungilla on kokemusta alalta; hän oli Google-paperin ensimmäinen kirjoittajaSkaalausohjeiden hienosäädetyt kielimallit,", joka tutkii, kuinka suuria kielimalleja voidaan kouluttaa noudattamaan ohjeita.
Chung korostaa laajojen kielimallien maailmaa dynaamisena. LLM-maailmassa ohjaava periaate kehittyy jatkuvasti, toisin kuin perinteisillä aloilla, joilla perusoletukset pysyvät tyypillisesti vakaina. Tulevan mallisukupolven myötä se, mikä tällä hetkellä on mahdotonta tai epäkäytännöllistä, voi tulla mahdolliseksi. Hän korostaa, kuinka tärkeää on esittää useimmat LLM-kykyjä koskevat väitteet sanalla "toistaiseksi". Malli voi suorittaa tehtävän; se ei vain ole vielä tehnyt niin.
Tämän päivän suuret mallit ovat pieniä malleja vasta muutaman vuoden kuluttua
Hyung Won Chung, OpenAI
Huolellisen dokumentoinnin ja toistettavuuden tarve AI tutkimus on yksi Chungin puheen tärkeimmistä opetuksista. On erittäin tärkeää dokumentoida meneillään oleva työ perusteellisesti alan kehittyessä. Tämä strategia takaa, että kokeet voidaan toistaa ja käydä uudelleen nopeasti, jolloin tutkijat voivat jatkaa aiemman työn pohjalta. Tämän käytännön kautta tunnustetaan, että tulevaisuudessa voi kehittyä ominaisuuksia, jotka eivät olleet käytännöllisiä alkuperäisen tutkimuksen aikana.
Chung omistaa osan puheestaan tietojen ja mallien rinnakkaisuuden monimutkaisuuden selvittämiselle. Niille, jotka ovat kiinnostuneita syventymään tekoälyn teknisiin näkökohtiin, tämä osio tarjoaa arvokkaita näkemyksiä näiden rinnakkaisuustekniikoiden sisäisestä toiminnasta. Näiden mekanismien ymmärtäminen on ratkaisevan tärkeää optimoinnin kannalta laajamittaista mallikoulutusta.
Chung väittää, että LLM:n esikoulutuksessa käytetty nykyinen tavoitefunktio, Maximum Likelihood, on pullonkaula, kun on kyse todella massiivisen mittakaavan saavuttamisesta, kuten 10,000 XNUMX-kertainen kapasiteetti. GPT-4. Koneoppimisen edetessä manuaalisesti suunnitelluista häviötoiminnoista tulee yhä rajoittavampia.
Chung ehdottaa, että tekoälykehityksen seuraava paradigma sisältää toimintojen oppimisen erillisten algoritmien avulla. Tämä lähestymistapa, vaikka se on vasta lapsenkengissään, lupaa skaalautuvuutta nykyisten rajoitusten yli. Hän korostaa myös meneillään olevia ponnisteluja, kuten ihmispalautteen avulla tapahtuvan oppimisen vahvistamista (RLHF) sääntömallinnuksen avulla, askelina tähän suuntaan, vaikka haasteita on vielä voitettava.
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
