La leçon amère : pourquoi ChatGPT A triomphé des techniques informatiques artisanales
En bref
L'essai de 2019 du professeur Rich Sutton, « The Bitter Lesson », prédit des avancées significatives dans le domaine de l'IA, telles que ChatGPT/GPT-4 et de OpenAIles méthodologies de.
Le texte met en évidence le changement de paradigme dans l'IA, où les méthodes de calcul dominent la performance sans l'intuition humaine.
Toutefois plusieurs les chercheurs continuent à poursuivre des approches basées sur l'intuition, négligeant le potentiel des méthodes basées sur le calcul.
L'essai "La leçon amère», écrit par le professeur Rich Sutton en 2019, a depuis pris de l'importance pour les experts en apprentissage automatique et les personnes intéressées à comprendre l'avenir de l'IA. Les informations fournies dans ce document prévoyaient des développements importants dans le domaine de l'IA, notamment l'émergence de ChatGPT/GPT-4 et l'acceptation de OpenAIles méthodologies.
Le cœur de "The Bitter Lesson" explore un changement de paradigme dans le domaine de l'IA. Dans le passé, les scientifiques qui étudiaient l'IA avaient tendance à penser que le développement d'une IA avancée nécessitait une approche remarquable et distinctive, également connue sous le nom de «biais inductif». Cette idée fait allusion à l'ajout d'informations spécialisées ou à la compréhension intuitive d'un problème spécifique, qui oriente ensuite le chemin de la solution de la machine.
Le thème central de "The Bitter Lesson" examine un changement de paradigme dans l'étude de l'intelligence artificielle. Auparavant, les chercheurs qui étudiaient l'IA avaient tendance à croire que la création d'une IA avancée nécessitait une approche remarquable et unique. Ce biais est appelé « biais inductif ». Ce concept suggère l'ajout de connaissances spécialisées ou d'un aperçu intuitif d'un problème particulier, qui dirige ensuite la voie de la solution de la machine.
Mais un schéma récurrent est devenu apparent. Les chercheurs ont constaté à plusieurs reprises qu'en ajoutant simplement plus données et puissance de calcul, ils pourraient surpasser les résultats produits par ces méthodes minutieusement élaborées. Ce modèle n'était pas spécifique à un domaine mais est apparu aux échecs, au go, au starcraft et probablement aussi au nethack. Réseaux de neurones convolutifs, par exemple, sont plus performants dans le domaine de la vision par ordinateur que les techniques manuelles comme SIFT. Il est intéressant de noter que l'inventeur de SIFT a déclaré plus tard que si les réseaux de neurones avaient existé lorsqu'il menait ses recherches, il aurait choisi cette ligne de conduite. Semblable à ceci, Les LSTM ont surpassé tous les systèmes basés sur des règles dans le domaine de la traduction automatique. En utilisant une stratégie simple « ajouter plus de couches », ChatGPT/GPT-4, un exemple marquant de cette tendance, a réussi à surpasser les modèles hautement développés créés par les linguistes informatiques.
Le cœur de la « leçon amère » de Sutton est que les méthodes de calcul qui ne sont pas modifiées par l'intuition humaine surpassent fréquemment les autres approches en termes de performances. Cette compréhension n'a cependant pas été largement acceptée. De nombreux chercheurs poursuivent encore des stratégies complexes basées sur l'intuition, ignorant souvent le potentiel des approches inclusives basées sur le calcul.
Cinq raisons pour lesquelles GPT a triomphé des techniques informatiques artisanales :
- Évolutivité: Les méthodes de calcul, en particulier lorsqu'elles sont complétées par davantage de données, ont le potentiel d'évoluer et de s'adapter à mesure que la technologie progresse, ce qui les rend plus pérennes.
- Efficacité : Les méthodes générales basées sur des calculs et des données ont constamment surpassé les méthodes spécialisées basées sur l'intuition humaine dans divers domaines, des jeux comme les échecs et Go à la traduction automatique et à la vision par ordinateur.
- Large applicabilité : Ces méthodes générales, basées sur le calcul, sont polyvalentes et peuvent être appliquées dans diverses disciplines sans nécessiter de modifications spécifiques à un domaine.
- Simplicité: Systèmes construits à partir de données brutes puissance de calcul et les données ont tendance à être plus simples dans leur approche, sans nécessiter d’ajustements complexes basés sur l’intuition humaine.
- Performances constantes: Comme le démontrent des exemples comme ChatGPT/GPT-4, les modèles basés sur le calcul peuvent atteindre des performances élevées et constantes, dépassant souvent les méthodes spécialisées.
L'essai original est un outil inestimable pour mieux comprendre le point de vue du professeur Sutton et les principes qui guident cette trajectoire d'IA.
L'article a été inspiré par la chaîne Telegram "Boris encore."
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
