Microsoft forçou LLMs a esquecer Harry Potter
A Microsoft revelou um método para instruir Large Language Models (LLMs) a esquecer informações específicas em seus conjuntos de dados sem exigir uma reconstrução completa dos dados de treinamento. Este método abre novas possibilidades para melhorar os LLMs e potencialmente resolver questões legais envolvendo conteúdo protegido por direitos autorais.
A equipe da Microsoft demonstrou recentemente como foi capaz de tornar o Llama-2 modelo esquece os detalhes dos livros de Harry Potter sem afetar outros dados nos dados de treinamento do modelo ou o desempenho geral do modelo em um estudo descrito na página do projeto de pesquisa.
O processo começa com a identificação de informações específicas no conjunto de dados do modelo que precisam ser esquecidas. Nesse caso, foram detalhes relacionados à série icônica de JK Rowling, incluindo detalhes da trama, nomes de personagens e citações famosas. Estas foram então sistematicamente substituídas por frases genéricas e não relacionadas.
Os pesquisadores então empregaram um modelo de linguagem para gerar novas informações com base nesses dados genéricos. Esses novos dados foram então usados para treinar novamente o original Llama-2 modelo incrementalmente. A cada passo, a modelo se distanciava dos livros de Harry Potter até começar a produzir respostas alucinatórias quando questionada sobre eles.
Uma característica marcante desta abordagem é que ela não compromete o desempenho geral do modelo. Isto significa que, embora o LLM se torne cada vez mais esquecido em relação a dados específicos, as suas capacidades linguísticas globais permanecem intactas.
Apesar de esta abordagem ainda estar em fase de aperfeiçoamento, as suas implicações são amplas. Em situações que envolvem ações judiciais e questões de direitos autorais, em particular, pode fornecer uma tábua de salvação para aqueles que criam LLMs e outros modelos de IA.
Esta inovação surge num momento em que aumentam as disputas legais sobre a utilização de conteúdos protegidos por direitos de autor em modelos de IA. Por exemplo, O New York Times exigiu recentemente a remoção de suas publicações do GPT-4 conjunto de dados. No caso de um sucesso desafio legal, os desenvolvedores normalmente precisariam reconstruir seus conjuntos de dados de modelo, um processo demorado e que consome muitos recursos. O método da Microsoft, se for aperfeiçoado e adotado, poderá fornecer uma solução eficiente para tais desafios.
O método da Microsoft para esquecer seletivamente informações específicas em modelos de linguagem grande (LLMs) é um avanço significativo no desenvolvimento da IA, potencialmente abordando questões de conteúdo protegido por direitos autorais e simplificando o refinamento. Esta abordagem poderia ser aplicada a vários domínios, demonstrando o desenvolvimento e a aplicação responsáveis da IA.
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
