Les empreses d'IA haurien de gastar el 30% del seu finançament en R+D en seguretat i ètica
El dany causat pels prejudicis i la informació falsa ja és evident. Hi ha indicis que també poden aparèixer altres perills. És fonamental mitigar els riscos actuals i preveure els emergents.
No sabríem com assegurar-nos que els sistemes autònoms avançats o AGI siguin segurs ni com provar-los si estiguessin disponibles ara mateix. A més, els governs no tenen les institucions necessàries per aturar els abusos i posar en pràctica pràctiques segures, encara que ho fessin. Els autors donen suport al desenvolupament d'una supervisió eficient del govern i a la reorientació dels esforços d'R+D cap a la seguretat i l'ètica.
Control i honestedat (els sistemes més sofisticats poden superar les proves produint respostes falses però convincents), robustesa (en noves condicions amb canvi de distribució o inputs adversaris), interpretabilitat (entendre el treball), avaluació de riscos (apareixen noves habilitats difícils de predir), i l'aparició de nous reptes (modes de fallada sense precedents) són alguns dels reptes d'R+D que no seran resolts per desenvolupament de sistemes d'IA més potents.
Els autors suggereixen que la seguretat i l'ètica haurien de rebre almenys un terç del finançament per a la R+D d'IA.
Cal fer complir les normes tant en relació amb les institucions nacionals com amb la governança global. La IA no té aquests, però les indústries farmacèutica, financera i nuclear sí. Ara hi ha incentius perquè les nacions i les empreses facin economia a costa de la seguretat. Les empreses poden beneficiar-se dels avenços de la IA mentre deixen que la societat assumeixi les conseqüències, de la mateixa manera que les indústries aboquen residus als rius.
Un fort coneixement tècnic i la capacitat de moure's ràpidament són requisits per a les institucions nacionals. En l'àmbit mundial, les associacions i els acords són essencials. S'han d'evitar els obstacles burocràtics als models petits i previsibles per salvaguardar la recerca acadèmica i les aplicacions de baix risc. Els models de frontera, un grup selecte dels sistemes més potents entrenats en supercomputadors de mil milions de dòlars, haurien de rebre el major focus.
Els governs han de ser més oberts a l'evolució per tal que les regulacions siguin efectives. Els reguladors haurien d'imposar el registre de models, protegir els informants interns, obligar a informar d'incidents i vigilar el desenvolupament de models i l'ús de superordinadors.
Els reguladors també han de tenir accés a aquests sistemes abans del seu llançament en producció per poder avaluar-los potencialment perjudicial característiques com la generació de patògens, l'autoreplicació i la penetració del sistema.
Els sistemes amb potencial de ser perillosos necessiten una varietat de mètodes de control. Model de frontera els creadors també han de ser legalment responsables de qualsevol dany als seus sistemes que s'hagués pogut evitar. Això hauria de fomentar la inversió en seguretat. Més funcions, com ara les llicències governamentals, la capacitat d'aturar el desenvolupament en resposta a potencialment perillós capacitats, controls d'accés i mesures de seguretat de la informació impermeables als pirates informàtics a nivell estatal, poden ser necessàries per a sistemes extremadament capaços.
Tot i que no hi ha regles, les empreses haurien d'aclarir ràpidament les seves responsabilitats de si aleshores descrivint els passos precisos que prendran si determinades capacitats del model creuen una línia vermella. Aquestes mesures s'han d'explicar a fons i confirmar de manera independent. Així, ho és. Un separat Complement de la política elabora un resum de tesis.
- A l'octubre, el Fòrum del Model Fronterer ha introduït un Fons de seguretat d'IA de més de 10 milions de dòlars, amb l'objectiu d'impulsar avenços en la investigació de seguretat de la IA. El fons, una col·laboració entre el Frontier Model Forum i socis filantròpics, oferirà suport a investigadors independents de tot el món afiliats a institucions acadèmiques, organitzacions de recerca i startups. Els principals col·laboradors de la iniciativa són Anthropic, Google, Microsoft, OpenAI, juntament amb organitzacions filantròpiques com la Fundació Patrick J. McGovern, la Fundació David i Lucile Packard, Eric Schmidt i Jaan Tallinn. L'AI Safety Fund se centra principalment a reforçar el desenvolupament de noves tècniques d'avaluació i enfocaments d'equip vermell per als models d'IA, amb l'objectiu de descobrir perills potencials. El Fòrum té previst establir un Consell Assessor en els propers mesos, i poc després emetrà la seva primera convocatòria de propostes i atorgarà els premis.
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
