A lição amarga: por que ChatGPT Triunfou sobre técnicas computacionais artesanais
Em Breve
O ensaio de 2019 do professor Rich Sutton, “The Bitter Lesson”, prevê avanços significativos na IA, como ChatGPT/GPT-4 e OpenAImetodologias de.
O texto destaca a mudança de paradigma na IA, onde os métodos computacionais dominam o desempenho sem a intuição humana.
Porém muitos os pesquisadores continuam a buscar abordagens baseadas na intuição, ignorando o potencial dos métodos baseados em cálculos.
A redação "A lição amarga”, escrito pelo professor Rich Sutton em 2019, desde então ganhou importância para especialistas em aprendizado de máquina e pessoas interessadas em entender o futuro da IA. Os insights fornecidos neste documento previram desenvolvimentos importantes em IA, incluindo o surgimento de ChatGPT/GPT-4 e a aceitação de OpenAImetodologias de.
O núcleo de “The Bitter Lesson” explora uma mudança de paradigma no campo da IA. No passado, os cientistas que estudavam IA tendiam a pensar que o desenvolvimento de IA avançada exigia uma abordagem notável e distinta, também conhecida como “viés indutivo”. Essa ideia alude à adição de informações especializadas ou ao entendimento intuitivo de um problema específico, que então direciona o caminho de solução da máquina.
O tema central de “The Bitter Lesson” examina uma mudança de paradigma no estudo da inteligência artificial. Anteriormente, os pesquisadores que estudavam IA tinham uma propensão a acreditar que a criação de IA avançada exigia uma abordagem notável e única. Esse viés é chamado de “viés indutivo”. Este conceito sugere a adição de conhecimento especializado ou percepção intuitiva em um determinado problema, que então direciona o caminho da solução da máquina.
Mas um padrão recorrente tornou-se aparente. Os pesquisadores descobriram repetidamente que, simplesmente adicionando mais dados e poder computacional, eles poderiam superar os resultados produzidos por esses métodos minuciosamente elaborados. Este padrão não era específico para um campo, mas apareceu no xadrez, go, starcraft e provavelmente nethack também. Redes neurais convolucionais, por exemplo, funcionam melhor no campo da visão computacional do que técnicas manuais como SIFT. É interessante notar que o inventor do SIFT disse mais tarde que se as redes neurais existissem quando ele conduzia sua pesquisa, ele teria escolhido esse curso de ação. Semelhante a este, LSTMs superaram todos os sistemas baseados em regras no campo da tradução automática. Usando uma estratégia simples de “adicionar mais camadas”, ChatGPT/GPT-4, um exemplo importante dessa tendência, conseguiu superar modelos altamente desenvolvidos criados por linguistas computacionais.
O cerne da “lição amarga” de Sutton é que os métodos computacionais que não são modificados pela intuição humana frequentemente superam outras abordagens em termos de desempenho. Esse entendimento, no entanto, não se tornou amplamente aceito. Muitos pesquisadores ainda buscam estratégias complexas baseadas na intuição, frequentemente ignorando o potencial de abordagens inclusivas baseadas em cálculos.
Cinco razões pelas quais GPT triunfou sobre técnicas computacionais artesanais:
- AMPLIAR: Os métodos computacionais, especialmente quando aumentados com mais dados, têm o potencial de evoluir e se adaptar à medida que a tecnologia avança, tornando-os mais preparados para o futuro.
- Eficiência: os métodos gerais baseados em cálculos e dados superaram consistentemente os métodos especializados baseados na intuição humana em vários domínios, desde jogos como xadrez e Go até tradução automática e visão computacional.
- Ampla Aplicabilidade: esses métodos gerais baseados em computação são versáteis e podem ser aplicados em várias disciplinas sem a necessidade de ajustes específicos de domínio.
- Simplicidade: Sistemas construídos em bruto poder computacional e os dados tendem a ser mais simples na sua abordagem, sem a necessidade de ajustes intrincados baseados na intuição humana.
- Desempenho consistente: Conforme demonstrado por exemplos como ChatGPT/GPT-4, os modelos baseados em cálculo podem atingir um alto desempenho consistente, muitas vezes superando os métodos especializados.
O ensaio original é uma ferramenta inestimável para entender melhor o ponto de vista do professor Sutton e os princípios que norteiam essa trajetória de IA.
O artigo foi inspirado no canal do Telegram “Bóris Novamente."
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
