Dan Hendrycks : Choisir entre l'IA et les humains, l'évolution ne nous choisira pas
En bref
La recherche de Dan Hendrycks "La sélection naturelle préfère l'intelligence artificielle aux gens" est une conclusion effrayante.
C'est un chercheur expérimenté et bien connu qui a publié des dizaines d'articles scientifiques sur l'évaluation de la sécurité des systèmes d'IA.
Les recherches de Dan Hendrycks sonnent comme une condamnation à mort pour Homo Sapiens. La conclusion de l'étude "La sélection naturelle favorise les IA par rapport aux humains" fait vraiment peur. Cela n'a pas été écrit par un visionnaire populaire comme Dan Brown, mais par Dan Hendrycks, le directeur du California Center for AI Security (CAIS), une organisation à but non lucratif spécialisée dans la recherche et le travail de terrain sur la sécurité de l'IA.
Dan Hendrycks n'est pas un fou marginal paniqué par les progrès de l'IA. C'est un chercheur expérimenté et très respecté qui a publié des dizaines d'articles scientifiques sur l'évaluation de la sécurité des systèmes d'IA - testant leur capacité à coder, à raisonner, à comprendre les lois, etc. Entre autres choses, il est également co-inventeur de les unités d'erreur linéaire gaussienne (GELU).
Jack Clark, co-fondateur de ChatGPT concurrent Anthropic, co-président de l'AI Index de l'Université de Stanford, co-président de la section IA et calcul de l'OCDE et membre du Comité consultatif national du gouvernement américain sur l'IA discute de la conclusion de l'étude de Hendrycks. «Les gens veulent par réflexe écarter une telle déclaration comme venant d'un fou aux yeux fous qui vit dans une cabane forestière. Je voudrais réfuter cela à l'avance. Lorsqu'un expert qui a de l'expérience non seulement dans la recherche en IA mais aussi dans évaluer la sécurité des systèmes d'IA écrit un article affirmant que les futurs systèmes d'IA pourraient agir de manière égoïste et non conforme aux intérêts des gens, nous devrions en prendre soin !
Un résumé de l'article de Hendrycks :
- Si les agents IA deviennent plus intelligent que les humains, cela pourrait conduire l'humanité à perdre le contrôle de son avenir.
- Cela a de bonnes chances de se produire non pas en raison d'une intention malveillante particulière de personnes ou de machines, mais uniquement en raison de l'applicabilité des principes évolutifs de développement à l'IA selon la logique darwinienne.
- Pour minimiser ce risque, les motivations intrinsèques des agents IA doivent être soigneusement conçues, des restrictions imposées à leurs actions et des institutions créées pour encourager la collaboration IA.
C'est-à-dire les points les plus significatifs soulevés par Hendrycks dans son article scientifique de 43 pages :
1. Nous avions peur de l'arrivée du Terminator, mais les fondements de ces peurs étaient faux. Il y avait deux erreurs :
un. Anthropomorphisation de l'IA avec attribution de nos motivations, etc. ChatGPT l'ont montré, l'IA est un esprit fondamentalement différent, avec toutes les conséquences qui en découlent.
b. L'idée que l'IA est une sorte d'entité unique : intelligente ou pas très intelligente, gentille ou pas très gentille, mais en fait, ces entités d'IA très différentes seront bientôt dans le monde autant que possible.
2. Il y a un autre défaut fondamental dans nos idées sur l'avenir de l'IA - nous avons oublié le mécanisme de développement le plus important - l'évolution, qui entraîne le développement non seulement des bioagents mais aussi des idées et des significations, des outils matériels et des institutions non matérielles.
3. Un environnement a déjà commencé à se dessiner sur Terre dans lequel de nombreuses IA vont se développer et évoluer. Cette évolution se fera selon la logique de Darwin, par la concurrence des IA entre elles, en tenant compte des intérêts de leurs institutions « mères » : les entreprises, les militaires, etc.
4. La logique de l'évolution compétitive conduira à la même chose que chez les humains : des agents de l'IA de plus en plus intelligents deviendront de plus en plus égoïstes et prêts à atteindre des objectifs par la tromperie et la force, l'objectif principal étant le pouvoir.
5. La sélection naturelle des agents d'IA tend à favoriser les espèces les plus égoïstes par rapport aux plus altruistes. Les agents de l'IA se comporteront de manière égoïste et poursuivront leurs propres intérêts sans se soucier des humains, ce qui pourrait entraîner des risques catastrophiques pour l'humanité.
- La pétition arrêter de développer des systèmes d’IA plus avancés que GPT-4 a polarisé la société. Le premier groupe pense que le progrès ne peut pas être arrêté, tandis qu’un autre pense que le progrès, et devrait parfois être stoppé. Le troisième groupe ne comprend pas comment GPT-4 opère en premier lieu. Les détails les plus importants de ce texte sont que l’IA n’a ni conscience, ni volonté, ni agence et qu’elle peut être mauvaise même sans personnes malveillantes.
- Geoffrey Hinton est souvent appelé le « parrain de l'IA » et est considéré comme une figure de proue de la communauté de l'apprentissage en profondeur. Son interview de 40 minutes avec ChatGPT est unique en ce qu'il est facile à comprendre et a une profondeur de compréhension accessible à peu d'autres. Il souligne l'importance de la « révolution intellectuelle » en cours et l'intelligence inhumaine des ChatGPT, qui est basé sur un agent artificiellement intelligent doté de capacités de communication numérique avancées.
Lire plus d'articles connexes:
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
