Vitalik Buterin et le directeur du MIRI, Nate Soares, se penchent sur les dangers de l'IA : l'intelligence artificielle pourrait-elle provoquer l'extinction humaine ?
En bref
Le fondateur d'Ethereum, Vitalik Buterin, et le directeur du Machine Intelligence Research Institute, Nate Soares, ont discuté aujourd'hui des risques de l'IA à Zuzalu.
Zuzalu est une communauté urbaine éphémère au Monténégro initiée par Buterin et ses pairs de la communauté crypto.
Au cours de la discussion, Soares a partagé son point de vue sur les raisons pour lesquelles l'IA est très susceptible de mettre fin à toute vie sur Terre.
Vitalik Buterin, fondateur d'Ethereum et directeur du Machine Intelligence Research Institute (MIRI) Nate Soare discuté des risques de l'IA à Zuzalu aujourd'hui.
Zuzalu est une "communauté de ville éphémère" au Monténégro initiée par Buterin et ses pairs de la communauté crypto qui se déroule du 25 mars au 25 mai. L'événement rassemble 200 résidents principaux partageant le désir d'apprendre, de créer, de vivre plus longtemps et en meilleure santé. des vies et construire des communautés autonomes. Au cours de deux mois, la communauté organise également un certain nombre d'événements sur divers sujets tels que la biologie synthétique, la technologie pour la vie privée, les biens publics, la longévité, la gouvernance, etc.
La spirituelle a commencé avec Soares présentant son travail au MIRI, une organisation à but non lucratif basée à Berkeley qui existe depuis plus longtemps qu'il ne la dirige. Depuis 20 ans, MIRI essaie de jeter les bases pour s'assurer que le développement de l'IA se passe bien. Avec la discussion, Vitalik espérait aborder ce qui rend l'IA particulièrement risquée par rapport aux autres technologies publiées dans l'histoire de l'humanité.
La probabilité que l'IA provoque l'extinction humaine
Vitalik a déclaré qu'il s'intéressait depuis longtemps au sujet des risques liés à l'IA et se souvenait d'avoir été convaincu qu'il y avait 0.5 % à 1 % de chances que toute vie sur Terre cesse d'exister si l'IA tournait mal - un risque existentiel qui causerait l'extinction de la race humaine ou l'effondrement irréversible de la civilisation humaine.
Du point de vue de Soares, l'extinction humaine ressemble à un résultat par défaut du développement dangereux de la technologie de l'IA. En le comparant à l'évolution, il a dit que le développement de l'humanité semblait se produire plus rapidement que de simples changements d'évolution. Dans les processus d'IA et d'évolution humaine, l'optimisation dominante - un processus consistant à trouver la meilleure solution à un problème lorsqu'il y a plusieurs objectifs à prendre en compte - était en train de changer. Les humains avaient atteint un point où ils étaient capables de transmettre des connaissances par le bouche à oreille au lieu d'avoir l'information câblée dans les gènes via la sélection naturelle.
"L'IA est en fin de compte un cas où vous pouvez à nouveau basculer le processus d'optimisation macroscopique. Je pense que vous pouvez faire beaucoup mieux que les humains en termes d'optimisation. Je pense que nous sommes encore assez stupides quand il s'agit d'optimiser notre environnement. Avec l'IA, nous traversons une sorte de transition de phase où l'optimisation automatisée est la force qui détermine les caractéristiques macroscopiques de l'univers », a expliqué Soares.
Il a ajouté que ce à quoi ressemble cet avenir est ce à quoi le processus d'optimisation est optimisé, et cela cessera probablement d'être bénéfique pour l'humanité, car la plupart des cibles d'optimisation n'ont pas de place pour les humains.
Les humains peuvent-ils entraîner l'IA à faire le bien ?
Buterin a souligné que ce sont les humains qui entraînent l'IA et lui disent comment optimiser. Si nécessaire, ils pourraient modifier la façon dont la machine est optimisée. À cela, Soares a déclaré qu'il est en principe possible d'entraîner l'IA à faire le bien, mais le simple fait d'entraîner une IA pour atteindre un objectif ne signifie pas qu'elle le ferait ou voudrait le faire, se résumant au désir.
Faisant un point sur l'apprentissage par renforcement dans les grands modèles de langage qui obtiennent de grandes quantités de données sur les préférences humaines, Buterin a demandé pourquoi cela ne fonctionnerait pas, car l'intelligence existante s'améliore pour comprendre quelles sont nos préférences.
"Il y a un grand écart entre comprendre nos motivations et s'en foutre",
Soares a répondu.
«Je ne prétends pas qu'un grand modèle de langage ou une IA ne comprendra pas les détails des préférences humaines. Mon affirmation est que comprendre les détails des préférences humaines est très différent de l'optimisation pour le bien », a-t-il ajouté.
Un membre de l'auditoire a fait une comparaison entre l'IA et les humains, affirmant que, comme l'intelligence artificielle, les humains ont tendance à ne pas comprendre ce qu'ils font ou prédisent, ce qui pourrait également être dangereux. Il a ensuite demandé à Soares de prétendre qu'il était un extraterrestre et d'expliquer pourquoi il ne devrait pas y avoir d'humains.
« Je ne serais pas ravi de donner des pouvoirs divins et un contrôle sur l'avenir à un seul être humain. Séparément, je serais beaucoup plus ravi de donner du pouvoir à un seul humain qu'à une IA aléatoire. Je ne dis absolument pas que nous ne devrions pas avoir d'IA. Je dis que nous devons bien faire les choses. Nous devons les amener à se soucier d'un avenir plein de plaisir et de bonheur et de civilisations florissantes où les transhumains s'engagent dans des échanges à somme positive avec des extraterrestres, etc. », a précisé Soares. "Si vous construisez un processus d'optimisation solide qui se soucie de choses différentes, cela pourrait potentiellement détruire toutes les valeurs de l'univers."
Il a ajouté que les choses que les humains apprécient ne sont pas universellement convaincantes et que la moralité n'est pas quelque chose que tout esprit qui l'étudie pourrait poursuivre. Au lieu de cela, c'est le résultat des pulsions intégrées aux humains qui, dans l'environnement ancestral, nous ont amenés à être bons à nous reproduire et qui sont spécifiques aux humains.
En fin de compte, Soares pense que nous ne devrions pas construire quelque chose d'aussi intelligent ou même plus intelligent qui soit incompatible avec le plaisir, le bonheur et un avenir florissant. D'autre part, il a également déclaré que l'humanité ne devrait pas construire une superintelligence amicale qui optimise un avenir amusant dès son premier essai lors d'une course aux armements. À court terme, l'IA devrait se consacrer à aider l'humanité à gagner du temps et de l'espace pour comprendre ce qu'elle veut réellement.
ChatGPT ne consommera pas toute la biosphère
Comme l'IA est actuellement conçue pour atteindre des objectifs particuliers, y compris la prédiction, a demandé Buterin, et si l'IA n'était pas axée sur les objectifs ? Soares a déclaré qu'il était facile de créer des IA sûres et non capables, et nous pourrions bientôt avoir des IA capables mais poursuivant des choses différentes. Il ne pense pas ChatGPT consommera toute la biosphère car ce n'est pas à ce niveau de capacité.
Soares a noté que les applications d'IA les plus intéressantes, comme l'automatisation du développement et de la recherche scientifiques et technologiques, semblent nécessiter une certaine poursuite d'objectifs.
"Ce n'est pas une erreur si vous pouvez obtenir GPT pour écrire un haïku soigné, mais on ne peut pas l'obtenir pour écrire un roman. Les limites des systèmes actuels sont liées au fait qu’ils ne poursuivent pas ces objectifs plus profonds, du moins à mon avis.»
Lire la suite:
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Cindy est journaliste à Metaverse Post, traitant de sujets liés à web3, NFT, métavers et IA, avec un focus sur des entretiens avec Web3 acteurs du secteur. Elle a parlé à plus de 30 cadres supérieurs et ce n'est pas fini, apportant leurs précieuses informations aux lecteurs. Originaire de Singapour, Cindy est désormais basée à Tbilissi, en Géorgie. Elle est titulaire d'un baccalauréat en communications et études médiatiques de l'Université d'Australie du Sud et possède une décennie d'expérience dans le journalisme et l'écriture. Contactez-la via [email protected] avec des pitchs de presse, des annonces et des opportunités d'interview.
Plus d'articles
Cindy est journaliste à Metaverse Post, traitant de sujets liés à web3, NFT, métavers et IA, avec un focus sur des entretiens avec Web3 acteurs du secteur. Elle a parlé à plus de 30 cadres supérieurs et ce n'est pas fini, apportant leurs précieuses informations aux lecteurs. Originaire de Singapour, Cindy est désormais basée à Tbilissi, en Géorgie. Elle est titulaire d'un baccalauréat en communications et études médiatiques de l'Université d'Australie du Sud et possède une décennie d'expérience dans le journalisme et l'écriture. Contactez-la via [email protected] avec des pitchs de presse, des annonces et des opportunités d'interview.
