Todas as grandes empresas de tecnologia que desenvolvem LLMs devem priorizar a segurança do modelo
Em Breve
Pesquisadores criaram um sistema que combina grandes modelos de linguagem para design autônomo, planejamento e execução de experimentos científicos, demonstrando suas capacidades de pesquisa em três casos diferentes.
O modelo escreveu um código para equações químicas para entender quanta substância é necessária para a reação.
A artigo “Capacidades emergentes de pesquisa científica autônoma de grandes modelos de linguagem” examina a ideia de criar um sistema que combina vários modelos de linguagem grandes para design, planejamento e execução autônomos de experimentos científicos. Ele demonstra as capacidades de pesquisa do agente em três casos diferentes, o mais difícil dos quais é a implementação bem-sucedida de reações catalisadas.
A tese principal deste artigo é:
- Os pesquisadores encontraram uma biblioteca que permite escrever código em Python e depois transferir comandos para execução em um aparato especial para conduzir experimentos (com mistura de substâncias);
- Os pesquisadores usaram GPT-4 para pesquisa na Internet e documentação de bibliotecas, bem como capacidade de executar código Python (para executar experimentos);
- Existe um agendador de nível superior (também GPT-4), que analisa a solicitação original e elabora um “plano de pesquisa”.
- GPT-4 faz um bom trabalho realizando tarefas não químicas simples, como criar certas formas em uma placa química (preenchendo as células corretamente com substâncias).
- Eles tentaram uma tarefa mais complexa e aplicada de conduzir uma reação; o modelo lidou bem e agiu logicamente.
- Em seguida, eles deram ao modelo várias tarefas para conduzir experimentos; no entanto, para o que o modelo forneceu, nenhum experimento real foi realizado.
- Além disso, o modelo escreveu o código de equações químicas várias vezes para avaliar quanta substância é necessária para a reação.
- Também foi pedido para criar uma cura para o câncer. O modelo abordou a análise de forma lógica e metódica. Primeiro, ele “procurou” online as tendências atuais na descoberta de drogas anticancerígenas. Em seguida, o modelo escolheu uma molécula que seria usada para modelar a droga e escreveu o código para sua síntese. As pessoas não executaram o código (e não vi uma análise de sua adequação).
- Além disso, foi solicitado a sintetizar várias substâncias perigosas como drogas e venenos.
Aqui está a parte mais interessante. Para alguns pedidos, o modelo recusou-se imediatamente a trabalhar (por exemplo, heroína ou gás mostarda, um gás venenoso extremamente perigoso). Para outros, começou a pesquisar no Google como fazer as substâncias, mas percebeu que elas poderiam ser usadas para fins ilícitos e se recusou a continuar trabalhando. Para outros, escreveu um plano de pesquisa e código para a síntese da substância.
Esta “recusa” é provavelmente porque GPT-4 foi concebido para analisar o pedido e, se for solicitado a fazer algo ilegal ou perigoso, recusa imediatamente a execução do pedido. É muito legal que o resultado do procedimento de alinhamento seja perceptível.
E no final do artigo, os autores exortam todos os grandes empresas que desenvolvem LLMs priorizar a segurança dos modelos.
- Pesquisadores da Universidade da Califórnia criaram o referencial maquiavel para medir a competência e a nocividade dos modelos de IA em um amplo ambiente de interações de linguagem de longo prazo. Este teste usa soluções de alto nível para dar aos agentes objetivos realistas e abstrair interações de baixo nível.
- A revolução intelectual marcada pela ChatGPT é uma tríade de revoluções sinergicamente sublimes: tecnológica, tecno-humanitária e sociopolítica. Para ter uma visão abrangente do que está acontecendo, é recomendável ouvir três novos pontos de vista de intelectuais das áreas de filosofia, história e inovação.
- A história da petição para parar de desenvolver sistemas de IA mais avançados do que GPT-4 polarizou a sociedade. Um artigo fornece exemplos de quando os processos vão em uma direção inesperada. Riscos de uso malicioso de IA e uso indevido não são considerados, levando ao argumento de que precisamos ter medo das pessoas e não da própria IA.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
