Des chercheurs remettent en question la notion de « capacités émergentes » des grands modèles linguistiques
En bref
L'apocalypse AGI est une préoccupation en raison du phénomène de grands modèles de langage soudainement démontrer des capacités que les modèles plus petits ne semblent pas avoir.
Ce phénomène est appelé « capacités émergentes des grands modèles linguistiques ».
Les auteurs de l’article « Les capacités émergentes des grands modèles linguistiques sont-elles un mirage ? soutiennent que l'effet des capacités émergentes n'est pas un mirage, mais plutôt une croissance prévisible de la capacité à effectuer des tâches.
Ils montrent qu'au moins 92 % des problèmes de Big Bench n'ont pas de percée soudaine pour les grands modèles, et la qualité de leurs modèles augmente de manière régulière et prévisible à mesure que la taille des modèles augmente.
Dans un récent examen des capacités potentielles des grands modèles de langage, les chercheurs remettent en question la notion de « capacités émergentes » et mettent en lumière un aspect plus prévisible de leur fonctionnalité. L'article intitulé «Dévoiler les réalités des capacités émergentes des grands modèles de langage» attire l’attention sur une mauvaise interprétation des métriques qui a conduit à l’idée fausse que ces modèles acquièrent spontanément des compétences avancées.
Le concept de “capacités émergentes" dans le contexte de grands modèles de langage, tels que le GPT série, a alimenté les inquiétudes quant à la possibilité pour ces modèles de développer des capacités imprévues proches de la conscience humaine. Cet article affirme que ces hypothèses reposent sur une compréhension erronée du comportement et des capacités réels des modèles.
Le phénomène couramment observé, où les modèles plus grands acquièrent apparemment de nouvelles capacités telles que le raisonnement abstrait, la résolution de problèmes et même l'humour, a été surnommé les "capacités émergentes des grands modèles de langage". Les auteurs de l'article soutiennent que ces capacités ne sont pas aussi spontanées qu'elles le paraissent, mais plutôt le résultat de mesures d'évaluation trompeuses.
Pour illustrer leur propos, les chercheurs considèrent la tâche de « deviner l'énigme », un problème où le modèle de langage est nécessaire pour comprendre une énigme en langage naturel et répondre avec la bonne réponse en langage naturel. Traditionnellement, la qualité des réponses est évaluée à l'aide d'une métrique binaire : une réponse se voit attribuer un score de 1 si elle correspond exactement à la bonne réponse, et un score de 0 sinon.
Le nœud du problème réside dans la sensibilité de la métrique à la complexité de la tâche et au nombre de paramètres du modèle. Les chercheurs révèlent que cette métrique binaire conduit à un perception trompeuse de « capacités émergentes ». Les modèles plus petits présentent souvent une précision négligeable (eps) sur cette métrique, tandis que les modèles plus grands, en particulier ceux avec un nombre de paramètres élevé, semblent atteindre des niveaux de précision remarquables (acc > 0.5).
L’article soutient que ce changement apparent dans les capacités n’indique pas que les modèles acquièrent spontanément des compétences complexes. Au lieu de cela, la capacité des modèles à comprendre et à générer des réponses plus nuancées découle d’une évaluation plus méticuleuse de leurs résultats. En se concentrant sur la correspondance probabiliste et la cohérence sémantique plutôt que sur les correspondances exactes de chaînes, les chercheurs montrent que le progression des modèles en performance suit une trajectoire plus logique, quelle que soit leur taille.
| Services Connexes: L'évolution des chatbots de l'ère T9 et GPT-1 à ChatGPT |
Enquête sur l'évolution des performances du modèle avec des paramètres changeants
Dans une enquête analytique, les chercheurs découvrent les mécanismes subtils derrière les « capacités émergentes » perçues des grands modèles de langage. L'étude remet en question l'influence des métriques superdiscrètes dans l'évaluation des performances du modèle et élucide une compréhension plus prédictive de leurs capacités à mesure que les paramètres du modèle augmentent.
La notion dominante de «capacités émergentes» dans les modèles de langage expansifs a captivé les discussions et soulevé des inquiétudes quant aux percées potentielles. Cette étude cherche à démêler les mécanismes sous-jacents à ce phénomène et à déchiffrer si ces modèles présentent effectivement des capacités soudaines et sans précédent ou si ces avancées perçues peuvent être attribuées à une cause différente.
Au cœur de l’étude se trouve une évaluation méticuleuse des mesures utilisées pour évaluer les performances du modèle. Les chercheurs soutiennent que l'utilisation de métriques super discrètes, en particulier la métrique binaire conventionnelle qui détermine les correspondances exactes de chaînes, pourrait fausser l'interprétation des grands nombres. capacités de modèle de langage. L’étude analyse minutieusement comment la distribution de probabilité des réponses générées par le modèle évolue à mesure que les paramètres du modèle évoluent.
Contrairement à la notion de « capacités émergentes », l'étude révèle une tendance plus systématique. À mesure que la taille du modèle augmente, sa capacité à attribuer des probabilités plus élevées aux réponses appropriées et des probabilités plus faibles aux réponses incorrectes s'améliore. Cela reflète une amélioration constante de la capacité du modèle à résoudre habilement des problèmes sur une large gamme de tailles. Essentiellement, la recherche suggère que le processus d'apprentissage des modèles suit un processus biendefiune trajectoire d’amélioration définie plutôt qu’un bond soudain.
Les auteurs introduisent un changement de paradigme en proposant le remplacement des métriques discrètes par des métriques continues. Ce changement offre une image plus claire de l’évolution des performances. Grâce à leur analyse, les chercheurs constatent qu'environ 92 % des Problèmes de Big Bench présentent une croissance douce et prévisible de la qualité à mesure que la taille du modèle augmente. Cette découverte remet en question l’idée selon laquelle les modèles plus grands connaissent des percées soudaines et met plutôt en évidence une progression plus graduelle et anticipée.
L’étude étend ses connaissances pour valider ses affirmations. Il démontre que le même effet de « capacité émergente » peut être simulé artificiellement à l’aide d’auto-encodeurs conventionnels, ce qui suggère que le choix des métriques influence de manière significative les résultats perçus. Cette révélation élargit la portée des implications de l’étude, démontrant sa pertinence au-delà des seuls modèles linguistiques.
Les chercheurs soulignent que leurs résultats ne definient de manière définitive le potentiel de «capacités émergentes» ou de conscience dans les grands modèles de langage. Cependant, leurs résultats encouragent les chercheurs à aborder ces affirmations avec une perspective nuancée. Plutôt que d'extrapoler à la hâte et de tirer des conclusions extrêmes, l'étude souligne l'importance d'une enquête méticuleuse et d'une analyse complète.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
