Les entreprises d’IA devraient consacrer 30 % de leur financement à la R&D en matière de sécurité et d’éthique
Les dommages causés par les préjugés et les fausses informations sont déjà visibles. Certains éléments indiquent que d’autres dangers pourraient également faire surface. Il est essentiel d'atténuer les risques actuels et de prévoir ceux qui émergent.
Nous ne saurions pas comment garantir la sécurité des systèmes autonomes avancés ou des AGI, ni comment les tester s’ils étaient disponibles dès maintenant. De plus, les gouvernements ne disposent pas des institutions nécessaires pour mettre fin aux abus et mettre en place des pratiques sûres, même s’ils le faisaient. Les auteurs soutiennent le développement d’une surveillance gouvernementale efficace et la réorientation des efforts de R&D vers la sécurité et l’éthique.
Contrôle et honnêteté (des systèmes plus sophistiqués peuvent déjouer les tests en produisant des réponses fausses mais convaincantes), robustesse (dans de nouvelles conditions avec un changement de distribution ou des entrées contradictoires), interprétabilité (compréhension du travail), évaluation des risques (de nouvelles capacités émergent, difficiles à prévoir), et l'émergence de nouveaux défis (modes de défaillance sans précédent) font partie des défis de R&D qui ne seront pas résolus par développer des systèmes d’IA plus puissants.
Les auteurs suggèrent que la sécurité et l’éthique devraient recevoir au moins un tiers du financement de la R&D en IA.
Les normes doivent être appliquées à la fois par rapport aux institutions nationales et à la gouvernance mondiale. L’IA en manque, mais les industries pharmaceutique, financière et nucléaire en manquent. Il existe désormais des incitations pour que les nations et les entreprises fassent des économies au détriment de la sécurité. Les entreprises peuvent profiter des progrès de l’IA tout en laissant la société en supporter les conséquences, un peu comme les industries déversent leurs déchets dans les rivières.
Un savoir-faire technique solide et la capacité d’agir rapidement sont des exigences pour les institutions nationales. Sur la scène mondiale, les partenariats et les accords sont essentiels. Les obstacles bureaucratiques aux modèles petits et prévisibles doivent être évités afin de sauvegarder la recherche universitaire et les applications à faible risque. Les modèles Frontier – un groupe sélectionné de systèmes les plus puissants formés sur des superordinateurs valant des milliards de dollars – devraient recevoir la plus grande attention.
Les gouvernements doivent être plus ouverts à l’évolution de la situation pour que les réglementations soient efficaces. Les régulateurs devraient imposer l’enregistrement des modèles, protéger les informateurs internes, imposer le signalement des incidents et garder un œil sur le développement des modèles et l’utilisation des superordinateurs.
Les régulateurs doivent également avoir accès à ces systèmes avant leur mise en production afin d'évaluer potentiellement dangereux des fonctionnalités telles que la génération d’agents pathogènes, l’auto-réplication et la pénétration du système.
Les systèmes potentiellement dangereux nécessitent diverses méthodes de contrôle. Modèle frontière les créateurs doivent également être tenus légalement responsables de tout dommage causé à leurs systèmes qui aurait pu être évité. Cela devrait encourager les investissements dans la sécurité. Plus de fonctionnalités, telles que les licences gouvernementales, la capacité d'arrêter le développement en réponse à Potentiellement dangereux des capacités, des contrôles d'accès et des mesures de sécurité des informations imperméables aux pirates informatiques au niveau de l'État peuvent être nécessaires pour des systèmes extrêmement performants.
Bien qu’il n’y ait pas de règles, les entreprises devraient rapidement clarifier leurs responsabilités en décrivant les étapes précises qu’elles prendront si certaines capacités du modèle franchissent une ligne rouge. Ces mesures doivent être expliquées de manière approfondie et confirmées de manière indépendante. C’est ainsi. Un séparé Supplément de politique dresse une synthèse des thèses.
- En octobre, le Frontier Model Forum a introduit un fonds pour la sécurité de l'IA de plus de 10 millions de dollars, visant à faire progresser la recherche sur la sécurité de l’IA. Le fonds, une collaboration entre le Frontier Model Forum et des partenaires philanthropiques, fournira un soutien aux chercheurs indépendants du monde entier affiliés à des institutions universitaires, des organismes de recherche et des startups. Les principaux contributeurs à l'initiative sont Anthropic, Google, Microsoft, OpenAI, ainsi que des organisations philanthropiques telles que la Fondation Patrick J. McGovern, la Fondation David et Lucile Packard, Eric Schmidt et Jaan Tallinn. L’AI Safety Fund vise principalement à soutenir le développement de nouvelles techniques d’évaluation et d’approches d’équipe rouge pour les modèles d’IA, dans le but de découvrir les dangers potentiels. Le Forum prévoit de créer un conseil consultatif dans les mois à venir et publiera son premier appel à propositions et l'octroi de subventions peu de temps après.
| Services Connexes: L'Autorité britannique de la concurrence et des marchés lance un examen des modèles d'IA alors que les efforts de réglementation du gouvernement s'intensifient |
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
