OpenAI Okuplja tim od 50+ stručnjaka za poboljšanje GPT-4je sigurnost
Ukratko
OpenAI angažirao je tim od preko 50 stručnjaka kako bi osigurao da njegov najnoviji jezični model, GPT-4, siguran je za upotrebu.
Tim uključuje istraživače i inženjere specijalizirane za sigurnost, etiku i politiku umjetne inteligencije.
Cilj je spriječiti GPT-4 od stvaranja štetnog ili pristranog sadržaja i osigurati da je usklađen s ljudskim vrijednostima.
OpenAI je za izradu angažirao preko 50 stručnjaka iz raznih domena GPT-4 sigurnije. Stručnjaci su radili na kontradiktornom testiranju modela kako bi identificirali potencijalne rizike i ranjivosti. Oni su stručnjaci iz različitih područja: dugoročni rizici usklađivanja umjetne inteligencije, kibernetička sigurnost, biološki rizik i međunarodna sigurnost. Njihova otkrića su pomogla OpenAI procijeniti ponašanje modela u visokorizičnim područjima koja zahtijevaju stručno znanje.
Iako najnoviji jezični model predstavlja slične rizike kao i manji jezični modeli, dodatne mogućnosti GPT-4 dovesti do novih prijetnji. Dakle, angažman stručnjaka je bio ključni u osiguravanju sigurnosti tehnologije.
OpenAI implementirao je dodatni skup uputa za obuku relevantnih za sigurnost, učenja iz ljudskih preferencija (RLHF) i modela nagrađivanja temeljenih na pravilima (RBRM) kako bi se poboljšala sigurnost GPT-4 model. RBRM-ovi su nulti GPT-4 klasifikatore koji funkcioniraju kao dodatni signal za nagradu za GPT-4 model politike tijekom finog podešavanja RLHF-a. Njihova je svrha potaknuti odgovarajuće ponašanje, kao što je odbijanje generiranja štetnog sadržaja ili neodbijanje bezopasnih zahtjeva.
Kako bi se osigurala sigurnost GPT-4 modeli, OpenAI počeo je zapošljavati vanjske stručnjake u kolovozu 2022. za provođenje vježbi "crvenog timiranja", uključujući testiranje otpornosti na stres, granično testiranje i kontradiktorno testiranje. Imali su pristup ranim verzijama GPT-4 modela i identificiranih početnih rizika koji su motivirali daljnja sigurnosna istraživanja.
Povratne informacije stručnjaka dovele su do tehničkih mjera ublažavanja i provedbe politike za smanjenje rizika. Međutim, mnoge prijetnje ostaju i potrebna je daljnja procjena.
Govoreći o zaposlenicima u OpenAI, ChatGPT bio u početku razvijen uz pomoć pojedinaca u nekim od najsiromašnijih regija svijeta putem OpenAIpartnerstvo s tvrtkom Sama, koja zapošljava milijune radnika iz siromašnih područja. Neki su stručnjaci za etiku umjetne inteligencije kritizirali OpenAIodluku da outsourca svoju obuku ChatGPT model Sami, optužujući tvrtku za iskorištavanje jeftine radne snage.
Pročitajte više:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Agne je novinarka koja pokriva najnovije trendove i razvoj u metaverzumu, umjetnoj inteligenciji i Web3 industrije za Metaverse Post. Njezina strast za pripovijedanjem dovela ju je do brojnih intervjua sa stručnjacima u tim područjima, uvijek nastojeći otkriti uzbudljive i privlačne priče. Agne je diplomirala književnost i ima opsežno iskustvo u pisanju o širokom rasponu tema, uključujući putovanja, umjetnost i kulturu. Također je volontirala kao urednica organizacije za prava životinja, gdje je pomogla u podizanju svijesti o pitanjima dobrobiti životinja. Kontaktirajte je na [e-pošta zaštićena].
Više članaka
Agne je novinarka koja pokriva najnovije trendove i razvoj u metaverzumu, umjetnoj inteligenciji i Web3 industrije za Metaverse Post. Njezina strast za pripovijedanjem dovela ju je do brojnih intervjua sa stručnjacima u tim područjima, uvijek nastojeći otkriti uzbudljive i privlačne priče. Agne je diplomirala književnost i ima opsežno iskustvo u pisanju o širokom rasponu tema, uključujući putovanja, umjetnost i kulturu. Također je volontirala kao urednica organizacije za prava životinja, gdje je pomogla u podizanju svijesti o pitanjima dobrobiti životinja. Kontaktirajte je na [e-pošta zaštićena].
