Vitalik Buterin y el director de MIRI, Nate Soares, profundizan en los peligros de la IA: ¿Podría la inteligencia artificial causar la extinción humana?
En Resumen
El fundador de Ethereum, Vitalik Buterin, y el director del Instituto de Investigación de Inteligencia de Máquinas, Nate Soares, discutieron los riesgos de la IA en Zuzalu hoy.
Zuzalu es una comunidad de ciudad emergente en Montenegro iniciada por Buterin y sus pares en la criptocomunidad.
En la discusión, Soares compartió su perspectiva sobre por qué es muy probable que la IA acabe con toda la vida en la Tierra.
Fundador de Ethereum Vitalik Buterin y director del Instituto de Investigación de Inteligencia de Máquinas (MIRI) Nate Soares discutió los riesgos de la IA en Zuzalu hoy.
Zuzalu es una "comunidad de ciudad emergente" en Montenegro iniciada por Buterin y sus pares en la criptocomunidad que se llevará a cabo del 25 de marzo al 25 de mayo. El evento reúne a 200 residentes principales con un deseo compartido de aprender, crear, vivir más tiempo y de manera más saludable. vidas y construir comunidades autosuficientes. En el transcurso de dos meses, la comunidad también organizará una serie de eventos sobre diversos temas, como biología sintética, tecnología para la privacidad, bienes públicos, longevidad, gobernanza y más.
El discusión abrió con Soares presentando su trabajo en MIRI, una organización sin fines de lucro con sede en Berkeley que existe desde hace más tiempo que él. Durante los últimos 20 años, MIRI ha estado tratando de sentar las bases para garantizar que el desarrollo de la IA funcione bien. Con la discusión, Vitalik esperaba abordar qué hace que la IA sea excepcionalmente riesgosa en comparación con otras tecnologías lanzadas en la historia humana.
La probabilidad de que la IA cause la extinción humana
Vitalik dijo que ha estado interesado en el tema de los riesgos de la IA durante mucho tiempo y recordó haber estado convencido de que existe una probabilidad del 0.5 % al 1 % de que toda la vida en la Tierra deje de existir si la IA falla, un riesgo existencial que causaría la extinción de la raza humana o el colapso irreversible de la civilización humana.
Desde la perspectiva de Soares, la extinción humana parece un resultado predeterminado del desarrollo inseguro de la tecnología de IA. Comparándolo con la evolución, dijo que el desarrollo de la humanidad parecía suceder más rápido de lo que ocurrían los simples cambios evolutivos. Tanto en la IA como en los procesos de evolución humana, la optimización dominante, un proceso de encontrar la mejor solución a un problema cuando hay múltiples objetivos a considerar, estaba cambiando. Los humanos habían llegado a un punto en el que podían transmitir el conocimiento de boca en boca en lugar de tener la información integrada en los genes a través de la selección natural.
“AI es, en última instancia, un caso en el que puede volver a cambiar el proceso de optimización macroscópica. Creo que puedes hacerlo mucho mejor que los humanos en cuanto a optimización. Creo que todavía somos bastante tontos cuando se trata de optimizar nuestro entorno. Con la IA, estamos atravesando una especie de transición de fase en la que la optimización automatizada es la fuerza que determina las características macroscópicas del universo”, explicó Soares.
Agregó que el aspecto de ese futuro es para lo que está optimizando el proceso de optimización, y eso probablemente dejará de ser beneficioso para la humanidad, ya que la mayoría de los objetivos de optimización no tienen espacio para los humanos.
¿Pueden los humanos entrenar a la IA para que haga el bien?
Buterin señaló que los humanos son los que entrenan a la IA y le dicen cómo optimizar. Si es necesario, podrían cambiar la forma en que se optimiza la máquina. A eso, Soares dijo que, en principio, es posible entrenar a la IA para que haga el bien, pero simplemente entrenar una IA para lograr un objetivo no significa que lo haga o quiera hacerlo, reduciéndose al deseo.
Haciendo hincapié en el aprendizaje por refuerzo en grandes modelos de lenguaje que obtienen grandes cantidades de datos sobre cuáles son las preferencias humanas, Buterin preguntó por qué no funcionaría, ya que la inteligencia existente está mejorando en la comprensión de cuáles son nuestras preferencias.
“Hay una gran brecha entre entender nuestras motivaciones y que nos importe una mierda”,
Soares respondió.
“Mi afirmación no es que un modelo de lenguaje grande o una IA no comprendan las minucias de las preferencias humanas. Mi afirmación es que comprender las minucias de las preferencias humanas es muy diferente a optimizar para la bondad”, agregó.
Un miembro de la audiencia hizo una comparación entre la IA y los humanos y dijo que, al igual que la inteligencia artificial, los humanos tienden a no entender lo que están haciendo o prediciendo, lo que también podría ser peligroso. Luego le pidió a Soares que fingiese que era un extraterrestre y explicara por qué no debería haber humanos.
“No me emocionaría dar poderes divinos y control sobre el futuro a un solo ser humano. Por separado, estaría mucho más emocionado de darle poder a un solo ser humano que a una IA con roles aleatorios. No estoy diciendo enfáticamente que no deberíamos tener IA. Estoy diciendo que tenemos que hacerlo bien. Necesitamos hacer que se preocupen por un futuro lleno de diversión y felicidad y civilizaciones florecientes donde los transhumanos se comprometan con intercambios de sumas positivas con extraterrestres y así sucesivamente”, aclaró Soares. “Si crea un proceso de optimización sólido que se preocupa por cosas diferentes, eso podría destruir potencialmente todos los valores del universo”.
Agregó que las cosas que los humanos valoran no son universalmente convincentes y que la moralidad no es algo que cualquier mente que la estudie persiga. En cambio, es el resultado de los impulsos incorporados en los humanos que, en el entorno ancestral, nos hicieron buenos para reproducirnos y son específicos de los humanos.
En última instancia, Soares cree que no deberíamos construir algo que sea igualmente inteligente o incluso más inteligente que sea inconsistente con la diversión, la felicidad y los futuros florecientes. Por otro lado, también dijo que la humanidad no debería estar construyendo una superinteligencia amigable que optimice un futuro divertido en su primer intento durante una carrera armamentista. A corto plazo, la IA debería dedicarse a ayudar a la humanidad a ganar tiempo y espacio para descubrir lo que realmente quiere.
ChatGPT no consumirá toda la biosfera
Como la IA se está construyendo actualmente para lograr objetivos particulares, incluida la predicción, Buterin preguntó, ¿qué pasaría si la IA no estuviera orientada a objetivos? Soares dijo que es fácil construir IA que sean seguras y no aptas, y es posible que pronto tengamos IA que sean capaces pero que persigan cosas diferentes. el no piensa ChatGPT consumirá toda la biosfera ya que no está en ese nivel de capacidad.
Soares señaló que las aplicaciones de IA más interesantes, como la automatización del desarrollo y la investigación científica y tecnológica, parecen requerir una cierta búsqueda de objetivos.
“No es un error que puedas conseguir GPT escribir un haiku ordenado, pero no puedes conseguir que escriba una novela. Las limitaciones de los sistemas actuales están relacionadas con el hecho de que no persiguen estos objetivos más profundos, al menos para mí”.
Más información:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Cindy es periodista en Metaverse Post, cubriendo temas relacionados con web3, NFT, metaverso e IA, con un enfoque en entrevistas con Web3 actores de la industria. Ha hablado con más de 30 ejecutivos de nivel C y contando, aportando sus valiosos conocimientos a los lectores. Originaria de Singapur, Cindy ahora reside en Tbilisi, Georgia. Tiene una licenciatura en Comunicaciones y Estudios de Medios de la Universidad de Australia del Sur y tiene una década de experiencia en periodismo y escritura. Ponte en contacto con ella a través de [email protected] con lanzamientos de prensa, anuncios y oportunidades de entrevistas.
Más artículos
Cindy es periodista en Metaverse Post, cubriendo temas relacionados con web3, NFT, metaverso e IA, con un enfoque en entrevistas con Web3 actores de la industria. Ha hablado con más de 30 ejecutivos de nivel C y contando, aportando sus valiosos conocimientos a los lectores. Originaria de Singapur, Cindy ahora reside en Tbilisi, Georgia. Tiene una licenciatura en Comunicaciones y Estudios de Medios de la Universidad de Australia del Sur y tiene una década de experiencia en periodismo y escritura. Ponte en contacto con ella a través de [email protected] con lanzamientos de prensa, anuncios y oportunidades de entrevistas.
