Buletin de stiri Tehnologia
Octombrie 12, 2023

Modelele de limbaj mari de astăzi vor fi modele mici, potrivit unui cercetător de la OpenAI

Hyung Won Chung, un cercetător desăvârșit în inteligență artificială, care a fost anterior angajat de Google Brain și este în prezent membru al OpenAI echipa, a susținut un discurs de 45 de minute care a provocat gândirea în care a explorat lumea modelelor de limbaj mari în 2023. Chung are experiență în domeniu; a fost primul autor al lucrării Google”Scalare de instrucțiuni-modele de limbaj ajustate,” care examinează modul în care modelele mari de limbaj pot fi antrenate să urmeze instrucțiunile.

Hyung Won Chung, OpenAI

Chung subliniază lumea modelelor lingvistice extinse ca fiind dinamică. În lumea LLM-urilor, principiul călăuzitor evoluează constant, spre deosebire de domeniile tradiționale în care ipotezele fundamentale rămân de obicei stabile. Odată cu viitoarea generație de modele, ceea ce se crede în prezent a fi imposibil sau nepractic poate deveni posibil. El subliniază importanța prefacerii majorității afirmațiilor despre capabilitățile LLM cu „deocamdată”. Un model poate îndeplini o sarcină; pur și simplu nu a făcut-o încă.

Modelele mari de astăzi vor fi modele mici în doar câțiva ani

Hyung Won Chung, OpenAI

Nevoia de documentare meticuloasă și reproductibilitate în Cercetare AI este una dintre cele mai importante lecții care trebuie învățate din discursul lui Chung. Este esențial să documentați temeinic activitatea în desfășurare pe măsură ce domeniul se dezvoltă. Această strategie garantează că experimentele pot fi rapid replicate și revizuite, permițând cercetătorilor să se bazeze pe lucrările anterioare. Prin această practică, se recunoaște că în viitor se pot dezvolta capacități care nu au fost practice în timpul cercetării inițiale.

Chung își dedică o parte a discursului său elucidării complexității datelor și paralelismului modelului. Pentru cei interesați să aprofundeze aspectele tehnice ale AI, această secțiune oferă informații valoroase despre funcționarea interioară a acestor tehnici de paralelism. Înțelegerea acestor mecanisme este crucială pentru optimizare formarea modelelor la scară largă.

Chung presupune că funcția obiectivă actuală, Probabilitatea maximă, utilizată pentru pre-formarea LLM este un blocaj atunci când vine vorba de atingerea unor scale cu adevărat masive, cum ar fi de 10,000 de ori capacitatea de GPT-4. Pe măsură ce învățarea automată progresează, funcțiile de pierdere proiectate manual devin din ce în ce mai limitante.

Chung sugerează că următoarea paradigmă în dezvoltarea AI implică funcții de învățare prin algoritmi separați. Această abordare, deși este la început, deține promisiunea de scalabilitate dincolo de constrângerile actuale. El subliniază, de asemenea, eforturile în desfășurare, cum ar fi Reinforcement Learning from Human Feedback (RLHF) cu Rule Modeling, ca pași în această direcție, deși provocările rămân de depășit.

Declinare a responsabilităţii

În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.

Despre autor

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

Mai multe articole
Damir Yalalov
Damir Yalalov

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

De la Ripple la Big Green DAO: Cum contribuie proiectele de criptomonede la caritate

Să explorăm inițiativele care valorifică potențialul monedelor digitale pentru cauze caritabile.

Aflați mai multe

AlphaFold 3, Med-Gemini și alții: modul în care AI transformă asistența medicală în 2024

Inteligența artificială se manifestă în diferite moduri în asistența medicală, de la descoperirea de noi corelații genetice până la abilitarea sistemelor chirurgicale robotizate...

Aflați mai multe
Alăturați-vă comunității noastre tehnologice inovatoare
Citeste mai mult
Află mai multe
Optimism împărtășește actualizări cu privire la cea de-a patra finanțare retro, dezvăluind proiecte care răsplătesc comunitățile lor
pieţe Buletin de stiri Tehnologia
Optimism împărtășește actualizări cu privire la cea de-a patra finanțare retro, dezvăluind proiecte care răsplătesc comunitățile lor
Iulie 22, 2024
Soluția PowerPool unește luarea deciziilor AI și execuția în lanț, recompensă câștigătoare la dAGI Hackathon
Opinie Afaceri pieţe Software Tehnologia
Soluția PowerPool unește luarea deciziilor AI și execuția în lanț, recompensă câștigătoare la dAGI Hackathon
Iulie 22, 2024
Dincolo de monede stabile: co-fondatorul lui Obligate prezice următoarele mari perturbări în titlurile de valoare tokenizate
Interviu Afaceri pieţe Software Tehnologia
Dincolo de monede stabile: co-fondatorul lui Obligate prezice următoarele mari perturbări în titlurile de valoare tokenizate
Iulie 22, 2024
UXLINK și Bounty Bay partener pentru a îmbunătăți integrarea în ecosistemul TON
Buletin de stiri Tehnologia
UXLINK și Bounty Bay partener pentru a îmbunătăți integrarea în ecosistemul TON
Iulie 22, 2024
CRYPTOMERIA LABS PTE. LTD.