As empresas de IA devem gastar 30% do seu financiamento em pesquisa e desenvolvimento em segurança e ética
Os danos causados pelo preconceito e pelas informações falsas já são evidentes. Há indicações de que outros perigos também podem surgir. É fundamental mitigar os riscos atuais e prever os emergentes.
Não saberíamos como garantir que sistemas autônomos avançados ou AGI sejam seguros ou como testá-los se estivessem disponíveis agora. Além disso, os governos não dispõem das instituições necessárias para pôr fim aos abusos e implementar práticas seguras, mesmo que o fizessem. Os autores apoiam o desenvolvimento de uma supervisão governamental eficiente e o redirecionamento dos esforços de I&D para a segurança e a ética.
Controle e honestidade (sistemas mais sofisticados podem ser mais espertos que os testes, produzindo respostas falsas, mas convincentes), robustez (em novas condições com mudança de distribuição ou entradas adversárias), interpretabilidade (compreensão do trabalho), avaliação de risco (surgem novas habilidades que são difíceis de prever), e o surgimento de novos desafios (modos de falha sem precedentes) são alguns dos desafios de P&D que não serão resolvidos por desenvolvendo sistemas de IA mais poderosos.
Os autores sugerem que a segurança e a ética deveriam receber pelo menos um terço do financiamento para P&D em IA.
As normas precisam de ser aplicadas tanto em relação às instituições nacionais como à governação global. A IA carece disso, mas as indústrias farmacêutica, financeira e nuclear sim. Existem agora incentivos para que as nações e as empresas economizem à custa da segurança. As empresas podem lucrar com os avanços da IA, deixando a sociedade arcar com as consequências, tal como as indústrias despejam resíduos nos rios.
Um forte conhecimento técnico e a capacidade de agir rapidamente são requisitos para as instituições nacionais. Na arena global, parcerias e acordos são essenciais. Devem ser evitados obstáculos burocráticos a modelos pequenos e previsíveis, a fim de salvaguardar a investigação académica e aplicações de baixo risco. Os modelos de fronteira – um grupo seleto dos sistemas mais potentes treinados em supercomputadores de bilhões de dólares – deveriam receber maior atenção.
Os governos devem ser mais abertos sobre os desenvolvimentos para que as regulamentações sejam eficazes. Os reguladores deveriam exigir o registo de modelos, salvaguardar os informadores internos, exigir a comunicação de incidentes e manter-se atentos ao desenvolvimento de modelos e à utilização de supercomputadores.
Os reguladores também devem ter acesso a estes sistemas antes da sua colocação em produção, a fim de avaliar potencialmente nocivo recursos como geração de patógenos, auto-replicação e penetração no sistema.
Sistemas com potencial para serem perigosos precisam de uma variedade de métodos de controle. Modelo de fronteira os criadores também devem ser responsabilizados legalmente por quaisquer danos aos seus sistemas que poderiam ter sido evitados. Isto deveria encorajar o investimento em segurança. Mais recursos, como o licenciamento governamental, a capacidade de interromper o desenvolvimento em resposta a Potencialmente perigoso capacidades, controles de acesso e medidas de segurança da informação imunes a hackers estaduais podem ser necessários para sistemas extremamente capazes.
Embora não existam regras, as empresas devem clarificar rapidamente as suas responsabilidades do tipo "se-então", descrevendo os passos precisos que tomarão se determinadas capacidades do modelo ultrapassarem a linha vermelha. Estas medidas precisam ser exaustivamente explicadas e confirmadas de forma independente. Assim é. Uma separação Suplemento de política compila um resumo das teses.
- Em outubro, o Frontier Model Forum introduziu um Fundo de Segurança de IA de mais de US$ 10 milhões, com o objetivo de impulsionar avanços na pesquisa de segurança de IA. O fundo, uma colaboração entre o Frontier Model Forum e parceiros filantrópicos, fornecerá apoio a investigadores independentes em todo o mundo afiliados a instituições académicas, organizações de investigação e startups. Os principais contribuintes para a iniciativa são Anthropic, Google, Microsoft, OpenAI, juntamente com organizações filantrópicas como a Fundação Patrick J. McGovern, a Fundação David e Lucile Packard, Eric Schmidt e Jaan Tallinn. O AI Safety Fund concentra-se principalmente em reforçar o desenvolvimento de novas técnicas de avaliação e abordagens de red teaming para modelos de IA, com o objetivo de descobrir perigos potenciais. O Fórum planeia estabelecer um Conselho Consultivo nos próximos meses e lançará o seu primeiro convite à apresentação de propostas e subvenções pouco depois.
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
