Vitalik Buterin e o diretor do MIRI, Nate Soares, investigam os perigos da IA: a inteligência artificial pode causar a extinção humana?
Em Breve
O fundador da Ethereum, Vitalik Buterin, e o diretor do Machine Intelligence Research Institute, Nate Soares, discutiram hoje os riscos da IA na Zuzalu.
Zuzalu é uma comunidade pop-up da cidade em Montenegro iniciada por Buterin e seus colegas na comunidade criptográfica.
Na discussão, Soares compartilhou sua perspectiva sobre por que a IA provavelmente acabará com toda a vida na Terra.
Vitalik Buterin, fundador da Ethereum, e diretor do Machine Intelligence Research Institute (MIRI) Nate Soares discutiu os riscos da IA em Zuzalu hoje.
Zuzalu é uma “comunidade pop-up da cidade” em Montenegro iniciada por Buterin e seus colegas na comunidade criptográfica que ocorre de 25 de março a 25 de maio. O evento reúne 200 residentes principais com um desejo compartilhado de aprender, criar, viver mais e com mais saúde. vidas e construir comunidades autossustentáveis. Ao longo de dois meses, a comunidade também realizará vários eventos sobre vários tópicos, como biologia sintética, tecnologia para privacidade, bens públicos, longevidade, governança e muito mais.
A discussão abriu com Soares apresentando seu trabalho no MIRI, uma organização sem fins lucrativos com sede em Berkeley que existe há mais tempo do que ele a administra. Nos últimos 20 anos, o MIRI tem tentado estabelecer as bases para garantir que o desenvolvimento da IA corra bem. Com a discussão, Vitalik esperava abordar o que torna a IA exclusivamente arriscada em comparação com outras tecnologias lançadas na história da humanidade.
A probabilidade da IA causar a extinção humana
Vitalik disse que está interessado no tema dos riscos da IA há muito tempo e lembrou-se de estar convencido de que há uma chance de 0.5% a 1% de que toda a vida na Terra deixaria de existir se a IA desse errado - um risco existencial que causaria a extinção da raça humana ou o colapso irreversível da civilização humana.
Da perspectiva de Soares, a extinção humana parece um resultado padrão do desenvolvimento inseguro da tecnologia de IA. Comparando-o com a evolução, ele disse que o desenvolvimento da humanidade parecia acontecer mais rápido do que meras mudanças de evolução estavam acontecendo. Tanto na IA quanto nos processos de evolução humana, a otimização dominante – um processo de encontrar a melhor solução para um problema quando há vários objetivos a serem considerados – estava mudando. Os humanos chegaram a um ponto em que eram capazes de transmitir conhecimento de boca em boca, em vez de ter a informação incorporada aos genes por meio da seleção natural.
“A IA é, em última análise, um caso em que você pode mudar o processo de otimização macroscópica novamente. Acho que você pode fazer muito melhor do que os humanos em termos de otimização. Acho que ainda somos muito burros quando se trata de otimizar nosso ambiente. Com a IA, estamos passando por uma espécie de transição de fase em que a otimização automatizada é a força que determina as características macroscópicas do universo”, explicou Soares.
Ele acrescentou que a aparência desse futuro é o que o processo de otimização está otimizando, e isso provavelmente deixará de ser benéfico para a humanidade, pois a maioria dos alvos de otimização não tem espaço para humanos.
Os humanos podem treinar a IA para fazer o bem?
Buterin apontou que os humanos são os que treinam a IA e dizem como otimizá-la. Se necessário, eles podem mudar a maneira como a máquina é otimizada. A isso, Soares disse que é possível, em princípio, treinar uma IA para fazer o bem, mas simplesmente treinar uma IA para atingir um objetivo não significa que ela faria ou deseja fazer isso, resumindo-se ao desejo.
Fazendo questão de aprender por reforço em grandes modelos de linguagem que estão obtendo grandes quantidades de dados sobre quais são as preferências humanas, Buterin perguntou por que não funcionaria, já que a inteligência existente está melhorando em entender quais são nossas preferências.
“Há uma grande lacuna entre entender nossas motivações e dar a mínima”,
Soares respondeu.
“Minha afirmação não é que um grande modelo de linguagem ou IA não entenderá as minúcias das preferências humanas. Minha afirmação é que entender as minúcias das preferências humanas é muito diferente de otimizar para o bem”, acrescentou.
Um membro da platéia fez uma comparação entre IA e humanos, dizendo que, assim como a inteligência artificial, os humanos tendem a não entender o que estão fazendo ou prevendo, o que também pode ser perigoso. Ele então pediu a Soares que fingisse ser um alienígena e explicasse por que não deveria haver humanos.
“Eu não ficaria entusiasmado em dar poderes divinos e controle sobre o futuro a um único ser humano. Separadamente, eu ficaria muito mais entusiasmado em dar poder a um único humano individual do que a uma IA de papel aleatório. Não estou dizendo enfaticamente que não deveríamos ter IA. Estou dizendo que precisamos acertar. Precisamos fazer com que eles se preocupem com um futuro cheio de diversão e felicidade e civilizações florescentes onde os transumanos estão se envolvendo com negócios de soma positiva com alienígenas e assim por diante”, esclareceu Soares. “Se você construir um forte processo de otimização que se preocupa com coisas diferentes, isso pode potencialmente destruir todos os valores do universo.”
Ele acrescentou que as coisas que os humanos valorizam não são universalmente convincentes e que a moralidade não é algo que qualquer mente que a estude perseguiria. Em vez disso, é o resultado dos impulsos embutidos nos humanos que, no ambiente ancestral, nos tornaram bons em reproduzir e são específicos dos humanos.
Em última análise, Soares acredita que não devemos construir algo que seja igualmente inteligente ou ainda mais inteligente que seja inconsistente com diversão, felicidade e futuros prósperos. Por outro lado, ele também disse que a humanidade não deveria estar construindo uma superinteligência amigável que otimize um futuro divertido em sua primeira tentativa durante uma corrida armamentista. A curto prazo, a IA deve se dedicar a ajudar a humanidade a ganhar tempo e espaço para descobrir o que realmente deseja.
ChatGPT não estará consumindo toda a biosfera
Como a IA está sendo construída atualmente para atingir objetivos específicos, incluindo a previsão, Buterin perguntou: e se a IA não fosse orientada por objetivos? Soares disse que é fácil construir IAs seguras e não capazes, e em breve poderemos ter IAs capazes, mas que buscam coisas diferentes. ele não pensa ChatGPT consumirá toda a biosfera, pois não está nesse nível de capacidade.
Soares observou que as aplicações de IA mais interessantes, como automatizar o desenvolvimento e a pesquisa científica e tecnológica, parecem exigir uma certa busca de objetivos.
“Não é nenhum erro que você possa conseguir GPT para escrever um belo haicai, mas você não consegue escrever um romance. As limitações dos sistemas atuais estão relacionadas com o facto de não perseguirem estes objetivos mais profundos, pelo menos para mim.”
Leia mais:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Cindy é jornalista da Metaverse Post, abordando temas relacionados web3, NFT, metaverso e IA, com foco em entrevistas com Web3 players da indústria. Ela conversou com mais de 30 executivos de nível C e continua aumentando, trazendo seus valiosos insights aos leitores. Originária de Cingapura, Cindy agora mora em Tbilisi, na Geórgia. Ela é bacharel em Estudos de Comunicação e Mídia pela University of South Australia e tem uma década de experiência em jornalismo e redação. Entre em contato com ela através [email protegido] com arremessos de imprensa, anúncios e oportunidades de entrevista.
Mais artigos
Cindy é jornalista da Metaverse Post, abordando temas relacionados web3, NFT, metaverso e IA, com foco em entrevistas com Web3 players da indústria. Ela conversou com mais de 30 executivos de nível C e continua aumentando, trazendo seus valiosos insights aos leitores. Originária de Cingapura, Cindy agora mora em Tbilisi, na Geórgia. Ela é bacharel em Estudos de Comunicação e Mídia pela University of South Australia e tem uma década de experiência em jornalismo e redação. Entre em contato com ela através [email protegido] com arremessos de imprensa, anúncios e oportunidades de entrevista.
