GPT-4La performance de à l'examen du barreau américain contredit ses affirmations
En bref
L'examen de GPT-4Les performances de à l'examen uniforme du barreau ont révélé un écart entre les performances estimées et réelles, soulignant l'importance de procédures d'évaluation transparentes et de données accessibles.
OpenAI est encouragé à remédier aux divergences et à développer une approche plus inclusive et plus fiable de l’évaluation des modèles d’IA afin de gagner la confiance et d’assurer la crédibilité.
Dans un récent examen de GPT-4la performance de à l'examen uniforme du barreau (UBE), des doutes sont apparus quant à l'exactitude de OpenAIles affirmations de concernant le taux de réussite du modèle. Contrairement à l'affirmation initiale selon laquelle GPT-4 surpasse 90% des individus, les résultats suggèrent un écart important entre les performances estimées et réelles du modèle d'IA. Cette révélation souligne l'importance de procédures d'évaluation transparentes et de données accessibles pour valider de telles affirmations.
L'examen s'est concentré sur divers facteurs pour déterminer les véritables capacités de GPT-4. Premièrement, le selon une analyse de l’Université de Princeton des examens de février dans l'Illinois ont révélé que GPT-4les scores se rapprochaient du 90e centile. Cependant, il a été observé que ces scores étaient fortement influencés par les rattrapants qui avaient précédemment échoué à l'examen de juillet et avaient donc obtenu un score inférieur à la moyenne générale.
De plus, les résultats de l'examen de juillet contredisaient OpenAIles affirmations de, révélant que GPT-4 ne ferait que surpasser 68% des personnes et 48% des essais. GPT-4Les performances de contre les nouveaux candidats (à l'exclusion des reprises) ont été évaluées au 63e centile lorsque les données officielles de plusieurs tests à différentes périodes ont été prises en compte, les essais ayant obtenu un score considérablement inférieur au 41e centile.
Une perspective supplémentaire a été obtenue en examinant les performances de ceux qui ont réussi l'examen, y compris les titulaires d'un permis et ceux en attente d'obtention d'un permis. À cet égard, GPT-4La performance globale de a été classée au 48e centile, les essais étant encore pires au 15e centile.
Bien que ces résultats soient troublants, il est essentiel d’envisager la possibilité d’une erreur humaine dans le processus d’examen. L'auteur de l'article souligne l'importance de comprendre l'échantillon utilisé par les chercheurs pour évaluer GPT-4les performances. Le manque de données officielles, notamment sous forme agrégée, rend difficile une comparaison et une évaluation équitables des centiles. Il est essentiel d’établir des techniques d’évaluation claires et accessibles qui peuvent être évaluées par toutes les parties prenantes.
En réponse à ces préoccupations, OpenAI est invité à remédier aux divergences et fournir des informations supplémentaires dans le processus d'évaluation. La transparence et l'ouverture sont essentielles pour gagner la confiance et assurer la crédibilité des modèles d'IA dans des domaines à fort enjeu comme le droit.
Il convient de noter que l'article ne discute pas du score spécifique obtenu par GPT-4, qui serait de 298. L'évaluation de la signification de ce score nécessite une compréhension contextuelle du système de notation utilisé. Tout comme un enfant qui rentre de l'école avec un B peut être soit un motif de réjouissance, soit un motif de déception, l'interprétation du GPT-4Le score de dépend de l'échelle utilisée.
L'évaluation de GPT-4la performance de à l'examen du barreau soulève de sérieuses inquiétudes sur la véracité de OpenAIles premières affirmations de L’écart entre les performances estimées et réelles souligne l’importance de systèmes d’évaluation clairs et de données facilement accessibles. OpenAI est encouragé à relever ces défis et à développer une approche plus inclusive et approche fiable de l'IA évaluation du modèle.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
