OpenAI Riunisce un team di oltre 50 esperti per migliorare GPT-4's Sicurezza
In Breve
OpenAI ha assunto un team di oltre 50 esperti per garantire che sia il più recente modello linguistico, GPT-4, è sicuro per l'uso.
Il team comprende ricercatori e ingegneri specializzati in sicurezza, etica e politica dell'IA.
Lo scopo è prevenire GPT-4 dalla generazione di contenuti dannosi o distorti e per garantire che siano in linea con i valori umani.
OpenAI ha assunto oltre 50 esperti di vari settori per realizzarlo GPT-4 più sicuro. Gli esperti hanno lavorato con test contraddittori del modello per identificare potenziali rischi e vulnerabilità. Si tratta di esperti provenienti da vari settori: rischi di allineamento dell’IA a lungo termine, sicurezza informatica, rischio biologico e sicurezza internazionale. Le loro scoperte hanno aiutato OpenAI valutare il comportamento del modello in aree ad alto rischio che richiedono competenze di nicchia.
Sebbene il modello linguistico più recente presenti rischi simili a quelli dei modelli linguistici più piccoli, le funzionalità aggiuntive di GPT-4 portare a nuove minacce. Pertanto, l'impegno degli esperti è stato fondamentale per garantire la sicurezza della tecnologia.
OpenAI ha implementato una serie aggiuntiva di suggerimenti di formazione sull'apprendimento di rinforzo dalle preferenze umane (RLHF) rilevanti per la sicurezza e modelli di ricompensa basati su regole (RBRM) per migliorare la sicurezza del GPT-4 modello. Gli RBRM sono a colpo zero GPT-4 classificatori che funzionano come segnale di ricompensa extra per il GPT-4 modello politico durante la messa a punto del RLHF. Il loro scopo è incentivare comportamenti appropriati, come rifiutare di generare contenuti dannosi o non rifiutare richieste innocue.
Per garantire la sicurezza del GPT-4 modelli, OpenAI ha iniziato a reclutare esperti esterni nell’agosto 2022 per condurre esercizi di “red teaming”, inclusi stress test, test di confine e test contraddittori. Avevano accesso alle prime versioni del file GPT-4 modello e identificati i rischi iniziali che hanno motivato ulteriori ricerche sulla sicurezza.
Il feedback degli esperti ha portato a mitigazioni tecniche e misure di applicazione delle politiche per ridurre i rischi. Tuttavia, permangono molte minacce ed è necessaria un'ulteriore valutazione.
Parliamo dei dipendenti di OpenAI, ChatGPT era inizialmente sviluppato con l'assistenza di individui in alcune delle regioni più povere del mondo attraverso OpenAIcon la società Sama, che impiega milioni di lavoratori provenienti da aree povere. Alcuni esperti di etica dell’IA hanno criticato OpenAILa decisione di esternalizzare la formazione dei propri ChatGPT modello a Sama, accusando l'azienda di sfruttare manodopera a basso costo.
Leggi di più:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Agne è una giornalista che copre le ultime tendenze e gli sviluppi nel metaverso, AI e Web3 industrie per il Metaverse Post. La sua passione per lo storytelling l'ha portata a condurre numerose interviste con esperti in questi campi, cercando sempre di scoprire storie emozionanti e coinvolgenti. Agne ha conseguito una laurea in lettere e ha una vasta esperienza nella scrittura su una vasta gamma di argomenti tra cui viaggi, arte e cultura. Si è anche offerta volontaria come redattrice per l'organizzazione per i diritti degli animali, dove ha contribuito a sensibilizzare l'opinione pubblica sulle questioni relative al benessere degli animali. Contattala su [email protected].
Altri articoli
Agne è una giornalista che copre le ultime tendenze e gli sviluppi nel metaverso, AI e Web3 industrie per il Metaverse Post. La sua passione per lo storytelling l'ha portata a condurre numerose interviste con esperti in questi campi, cercando sempre di scoprire storie emozionanti e coinvolgenti. Agne ha conseguito una laurea in lettere e ha una vasta esperienza nella scrittura su una vasta gamma di argomenti tra cui viaggi, arte e cultura. Si è anche offerta volontaria come redattrice per l'organizzazione per i diritti degli animali, dove ha contribuito a sensibilizzare l'opinione pubblica sulle questioni relative al benessere degli animali. Contattala su [email protected].
