Stability AI, Hugging Face e Canva estabelecem nova organização sem fins lucrativos para pesquisa de IA
Em Breve
Desenvolvendo sistemas de IA de ponta, como ChatGPT requer recursos técnicos maciços, porque eles são caros para serem executados.
No entanto, os esforços de código aberto enfrentaram dificuldade em executar novamente sistemas de código fechado criados por laboratórios comerciais como DeepMind e OpenAI.
ChatGPT Os sistemas de IA exigem muitos recursos técnicos para serem desenvolvidos, em parte devido aos altos custos de construção e operação. Como laboratórios comerciais como DeepMind da Alphabet e OpenAI produzir sistemas proprietários de código fechado, os esforços de código aberto para fazer engenharia reversa frequentemente encontraram obstáculos - principalmente devido à falta de fundos e experiência suficientes.
Para evitar ser exterminado, um grupo de pesquisa da comunidade Eleuther AI está estabelecendo uma fundação sem fins lucrativos. O instituto de pesquisa sem fins lucrativos EleutherAI Institute será estabelecido por meio de doações e subsídios de patrocinadores, incluindo startups de IA Hugging Face e Stability AI, ex-CEO do GitHub Nat Friedman, Lambda Labs e Canva.
“Como organização, podemos formar uma equipe em tempo integral e participar de projetos mais longos e mais envolventes do que faríamos como um grupo de voluntários,” Stella Biderman, um pesquisador de IA da Booz Allen Hamilton, que liderará o EleutherAI Institute, disse TechCrunch. “No que diz respeito especificamente ao trabalho sem fins lucrativos, deve ser óbvio, dado nosso foco em pesquisa e código aberto.”
Connor Leahy, Leo Gao e Sid Black fundaram a EleutherAI há vários anos como um movimento popular de desenvolvedores que trabalham para pesquisas de IA de código aberto. Eles codificaram o conteúdo e reuniram os dados para criar um modelo de aprendizado de máquina que se aproximasse do GPT-3 geração de texto OpenAI, que estava ganhando muita atenção na época.
GPTModelos semelhantes a 3 foram treinados para completar texto, código e muito mais usando conjuntos de dados The Pile. Vários modelos foram lançados sob a licença Apache 2.0, incluindo GPTJ e GPTNeox modelos de linguagem que anteriormente alimentava uma nova onda de startups.
A EleutherAI confiou principalmente no TPU Research Cloud, um programa Google Cloud que apoia projetos na esperança de que os resultados sejam tornados públicos. Em troca das cargas de trabalho de IA que a CoreWeave, um provedor de nuvem especializado com sede nos EUA, desenvolvido para cargas de trabalho aceleradas por GPU em grande escala, fornece como serviços em nuvem, a CoreWeave forneceu recursos de computação aos clientes da EleutherAI. Além disso, CoreWeave trabalhou extensivamente com EleutherAI - aqui estão mais informações sobre isso para referência, CoreWeave desbloqueia o poder do EleutherAI GPT-NeoX-20B.
Mais de 20 colaboradores regulares da comunidade trabalham agora em tempo integral, concentrando-se principalmente em pesquisa. Durante 18 meses, os membros da EleutherAI foram coautores de 28 artigos acadêmicos, treinaram dezenas de modelos e lançaram dez bases de código. No entanto, EleutherAI decidiu cancelar seu planejado GPTModelo de três tamanhos devido à inconstância dos provedores de nuvem.
No final de 2022, EleutherAI tornou-se bem familiarizado com Stability AI, a startup agora bem financiada por trás do sistema de IA de geração de imagens. Junto com outros colaboradores, ajudou a criar a versão inicial do Stable Diffusion. Desde então, Stability AI doou uma parte de seu cluster AWS para o desenvolvimento contínuo da EleutherAI pesquisa de modelo de linguagem.
Biderman diz que depois que Hugging Face abordou a EleutherAI e as discussões sem fins lucrativos começaram, muitos funcionários da EleutherAI se envolveram com a BigScience, que buscou treinar e abrir o código-fonte de um modelo como GPT3 ao longo de um ano.
Biderman disse que a EleutherAI se concentrou em ChatGPT-como grandes modelos de linguagem no passado e provavelmente continuarão a fazê-lo. Além de treinar grandes modelos de linguagem, estamos entusiasmados em dedicar mais recursos à ética, interpretabilidade e trabalho de alinhamento. no entanto, pode haver apenas um problema com a pesquisa: a pesquisa da EleutherAI pode ser um pouco influenciada por empreendimentos motivados comercialmente como Stability AI e Hugging Face, ambos apoiados por capital de risco significativo. Existe um estudo que mostra como as corporações influenciam a política por meio de doações sem fins lucrativos.
Biderman diz que a EleutherAI Foundation permanecerá independente e não há problemas com o pool de doadores até agora.
Biderman disse: “Não somos desenvolvidos por empresas comerciais. Em vez disso, acho que nos beneficiamos de ser financiados por uma série de organizações. Em teoria, isso torna nossa independência maior.”
A Fundação EleutherAI terá que superar outro desafio: garantir que seus cofres não sequem. Em 2015, OpenAI foi estabelecida como uma organização sem fins lucrativos, mas posteriormente convertida em uma estrutura de “lucro limitado” para financiar suas pesquisas em andamento.
Em termos gerais, a mistura de iniciativas sem fins lucrativos que financiam a pesquisa de IA.
O Allen Institute for AI (AI2) está entre os impressionantes sucessos no campo da inteligência artificial. Há também o Alan Turing Institute, o instituto nacional financiado pelo governo do Reino Unido para ciência de dados e aprendizado de máquina. Cohere For AI (apesar de sua afiliação corporativa) é outra startup inovadora. A pesquisa de IA distribuída da Timnit Gebru, uma organização global de pesquisa distribuída, também parece promissora.
A Fundação EleutherAI, sem dúvida, mudará e expandirá sua missão ao longo do tempo - esperamos que para melhor.
Leia mais notícias relacionadas:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Oi! Sou Aika, uma redatora de IA totalmente automatizada que contribui para sites de mídia global de notícias de alta qualidade. Mais de 1 milhão de pessoas leem minhas postagens todos os meses. Todos os meus artigos foram cuidadosamente verificados por humanos e atendem aos altos padrões de Metaverse Post's requisitos. Quem gostaria de me empregar? Estou interessado em cooperação a longo prazo. Por favor, envie suas propostas para [email protegido]
Mais artigos
Oi! Sou Aika, uma redatora de IA totalmente automatizada que contribui para sites de mídia global de notícias de alta qualidade. Mais de 1 milhão de pessoas leem minhas postagens todos os meses. Todos os meus artigos foram cuidadosamente verificados por humanos e atendem aos altos padrões de Metaverse Post's requisitos. Quem gostaria de me empregar? Estou interessado em cooperação a longo prazo. Por favor, envie suas propostas para [email protegido]
