Las empresas de IA deberían gastar el 30% de su financiación en I+D en seguridad y ética
Los daños causados por los prejuicios y la información falsa ya son evidentes. Hay indicios de que también pueden surgir otros peligros. Es fundamental mitigar los riesgos actuales y prever los emergentes.
No sabríamos cómo garantizar que los sistemas autónomos avanzados o AGI sean seguros o cómo probarlos si estuvieran disponibles en este momento. Además, los gobiernos carecen de las instituciones necesarias para detener los abusos e implementar prácticas seguras, incluso si las tuvieran. Los autores apoyan el desarrollo de una supervisión gubernamental eficiente y la reorientación de los esfuerzos de I+D hacia la seguridad y la ética.
Control y honestidad (los sistemas más sofisticados pueden burlar las pruebas al producir respuestas falsas pero convincentes), solidez (en nuevas condiciones con cambios de distribución o entradas adversas), interpretabilidad (comprensión del trabajo), evaluación de riesgos (surgen nuevas habilidades que son difíciles de predecir), y el surgimiento de nuevos desafíos (modos de falla sin precedentes) son algunos de los desafíos de I+D que no se resolverán mediante desarrollando sistemas de IA más potentes.
Los autores sugieren que la seguridad y la ética deberían recibir al menos un tercio de la financiación para la I+D de IA.
Es necesario hacer cumplir las normas en relación tanto con las instituciones nacionales como con la gobernanza global. La IA carece de ellos, pero las industrias farmacéutica, financiera y nuclear sí. Ahora existen incentivos para que las naciones y las empresas economicen a expensas de la seguridad. Las empresas pueden beneficiarse de los avances de la IA y dejar que la sociedad cargue con las consecuencias, de forma muy similar a como las industrias arrojan desechos a los ríos.
Un sólido conocimiento técnico y la capacidad de actuar rápidamente son requisitos para las instituciones nacionales. En el ámbito global, las asociaciones y los acuerdos son esenciales. Deben evitarse los obstáculos burocráticos a los modelos pequeños y predecibles para salvaguardar la investigación académica y las aplicaciones de bajo riesgo. Los modelos de frontera (un grupo selecto de los sistemas más potentes entrenados en supercomputadoras de miles de millones de dólares) deberían recibir la mayor atención.
Los gobiernos deben ser más abiertos respecto de los avances para que las regulaciones sean efectivas. Los reguladores deberían exigir el registro de modelos, salvaguardar a los informantes internos, exigir la notificación de incidentes y vigilar el desarrollo de modelos y el uso de supercomputadoras.
Los reguladores también deben tener acceso a estos sistemas antes de su puesta en producción para poder evaluar potencialmente peligroso características como generación de patógenos, autorreplicación y penetración del sistema.
Los sistemas con potencial de ser peligrosos necesitan una variedad de métodos de control. Modelo de frontera Los creadores también deben ser considerados legalmente responsables de cualquier daño a sus sistemas que podría haberse evitado. Esto debería fomentar la inversión en seguridad. Más características, como las licencias gubernamentales, la capacidad de detener el desarrollo en respuesta a potencialmente peligroso Es posible que se requieran capacidades, controles de acceso y medidas de seguridad de la información impermeables a los piratas informáticos a nivel estatal para sistemas extremadamente capaces.
Aunque no existen reglas, las empresas deberían aclarar rápidamente sus responsabilidades, describiendo los pasos precisos que tomarán si ciertas capacidades del modelo cruzan una línea roja. Estas medidas deben explicarse detalladamente y confirmarse de forma independiente. Así es. Una separacion Suplemento de política Recopila un resumen de tesis.
- En octubre, el Foro Modelo Frontera ha introducido un fondo de seguridad de IA de más de 10 millones de dólares, con el objetivo de impulsar avances en la investigación de seguridad de la IA. El fondo, una colaboración entre Frontier Model Forum y socios filantrópicos, brindará apoyo a investigadores independientes de todo el mundo afiliados a instituciones académicas, organizaciones de investigación y nuevas empresas. Los principales contribuyentes a la iniciativa son Anthropic, Google, Microsoft, OpenAI, junto con organizaciones filantrópicas como la Fundación Patrick J. McGovern, la Fundación David y Lucile Packard, Eric Schmidt y Jaan Tallinn. El Fondo de Seguridad de la IA se centra principalmente en impulsar el desarrollo de nuevas técnicas de evaluación y enfoques de equipos rojos para modelos de IA, con el objetivo de descubrir peligros potenciales. El Foro planea establecer un Consejo Asesor en los próximos meses y poco después publicará su primera convocatoria de propuestas y concesión de subvenciones.
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
