Vitalik Buterin i el director de MIRI, Nate Soares, aprofundeixen en els perills de la IA: podria la intel·ligència artificial provocar l'extinció humana?
En breu
El fundador d'Ethereum, Vitalik Buterin, i el director de l'Institut de Recerca en Intel·ligència Màquina, Nate Soares, han discutit avui els riscos de la IA a Zuzalu.
Zuzalu és una comunitat de ciutat emergent de Montenegro iniciada per Buterin i els seus companys de la comunitat criptogràfica.
En la discussió, Soares va compartir la seva perspectiva sobre per què és molt probable que la IA acabi amb tota la vida a la Terra.
Vitalik Buterin, fundador d'Ethereum i director de l'Institut de Recerca en Intel·ligència Màquina (MIRI) Nate Soares Va discutir avui els riscos de la IA a Zuzalu.
Zuzalu és una "comunitat de ciutat emergent" a Montenegro iniciada per Buterin i els seus companys de la comunitat criptogràfica que es durà a terme del 25 de març al 25 de maig. L'esdeveniment reuneix 200 residents bàsics amb un desig compartit d'aprendre, crear, viure més temps i amb més salut. vides i construir comunitats autosostenibles. Al llarg de dos mesos, la comunitat també organitza diversos esdeveniments sobre diversos temes com la biologia sintètica, la tecnologia per a la privadesa, els béns públics, la longevitat, la governança i molt més.
El discussió va obrir amb Soares presentant el seu treball a MIRI, una organització sense ànim de lucre amb seu a Berkeley que ha existit més temps del que l'executa. Durant els últims 20 anys, MIRI ha estat tractant de posar les bases per garantir que el desenvolupament de la IA vagi bé. Amb la discussió, Vitalik esperava abordar el que fa que la IA sigui únicament arriscada en comparació amb altres tecnologies llançades a la història de la humanitat.
La probabilitat que la IA provoqui l'extinció humana
Vitalik va dir que fa temps que s'interessava pel tema dels riscos de la IA i recordava estar convençut que hi ha un 0.5%-1% de possibilitats que tota la vida a la Terra deixés d'existir si la IA va malament, un risc existencial que provocaria l'extinció de la raça humana o el col·lapse irreversible de la civilització humana.
Des de la perspectiva de Soares, l'extinció humana sembla un resultat predeterminat del desenvolupament insegur de la tecnologia d'IA. Comparant-ho amb l'evolució, va dir que el desenvolupament de la humanitat semblava passar més ràpid que els simples canvis de l'evolució. Tant en els processos d'IA com d'evolució humana, l'optimització dominant, un procés per trobar la millor solució a un problema quan hi ha múltiples objectius a considerar, estava canviant. Els humans havien arribat a un punt en què eren capaços de transmetre coneixements mitjançant el boca a boca en lloc de tenir la informació connectada als gens mitjançant la selecció natural.
"La IA és, en última instància, un cas en què podeu tornar a canviar el procés d'optimització macroscòpica. Crec que pots fer-ho molt millor que els humans pel que fa a l'optimització. Crec que encara som bastant ximples quan es tracta d'optimitzar el nostre entorn. Amb la IA, estem passant per una mena de transició de fase on l'optimització automatitzada és la força que determina les característiques macroscòpiques de l'univers", va explicar Soares.
Va afegir que el que sembla aquest futur és el que està optimitzant el procés d'optimització, i que probablement deixarà de ser beneficiós per a la humanitat, ja que la majoria dels objectius d'optimització no tenen espai per als humans.
Els humans poden entrenar la IA per fer el bé?
Buterin va assenyalar que els humans són els que entrenen la IA i li expliquen com optimitzar-la. Si cal, podrien canviar la manera d'optimitzar la màquina. Per això, Soares va dir que és possible, en principi, entrenar la IA per fer el bé, però simplement entrenar una IA per assolir un objectiu no vol dir que ho faria o vulgui fer-ho, reduint-se al desig.
Fent un punt sobre l'aprenentatge de reforç en grans models lingüístics que reben grans quantitats de dades sobre quines són les preferències humanes, Buterin va preguntar per què no funcionaria, ja que la intel·ligència existent millora per entendre quines són les nostres preferències.
"Hi ha una gran bretxa entre entendre les nostres motivacions i fer-nos una merda",
Soares va respondre.
"La meva afirmació no és que un gran model de llenguatge o IA no entengui les minuciositats de les preferències humanes. La meva afirmació és que entendre les minuciositats de les preferències humanes és molt diferent que optimitzar la bondat", va afegir.
Un membre de l'audiència va fer una comparació entre la intel·ligència artificial i els humans, dient que, com la intel·ligència artificial, els humans tendeixen a no entendre el que estan fent o prediuen, cosa que també podria ser perillosa. Aleshores li va demanar a Soares que fingís que era un extraterrestre i que expliqués per què no hi hauria d'haver humans.
"No m'emocionaria donar poders divins i control sobre el futur a un sol humà individual. Per separat, m'emocionaria molt més donar poder a un únic humà que no pas a una IA de forma aleatòria. No estic dient de manera contundent que no hauríem de tenir IA. Estic dient que hem de fer-ho bé. Hem d'aconseguir que es preocupin per un futur ple de diversió i felicitat i de civilitzacions florents on els transhumans es comprometen amb intercanvis de suma positiva amb extraterrestres, etc.", va aclarir Soares. "Si creeu un procés d'optimització fort que es preocupi per coses diferents, això podria destruir tots els valors de l'univers".
Va afegir que les coses que els humans valoren no són universalment convincents i que la moral no és una cosa que qualsevol ment que l'estudia perseguiria. En canvi, és el resultat de les pulsions incorporades als humans que, en el medi ancestral, ens van fer ser bons per reproduir-nos i són específics dels humans.
En última instància, Soares creu que no hauríem de construir quelcom que sigui igualment intel·ligent o fins i tot més intel·ligent que no sigui compatible amb la diversió, la felicitat i un futur pròsper. D'altra banda, també va dir que la humanitat no hauria d'estar construint una superintel·ligència amigable que optimitzi un futur divertit en el seu primer intent durant una carrera armamentística. A curt termini, la IA s'hauria de dedicar a ajudar la humanitat a guanyar temps i espai per esbrinar què vol realment.
ChatGPT no consumirà tota la biosfera
Com que la IA s'està construint actualment per assolir objectius concrets, inclosa la predicció, Buterin va preguntar, què passaria si la IA no estigués impulsada per objectius? Soares va dir que és fàcil construir IA que siguin segures i no aptes, i que aviat tindrem IA que siguin capaços però que persegueixen coses diferents. Ell no pensa ChatGPT consumirà tota la biosfera ja que no es troba a aquest nivell de capacitat.
Soares va assenyalar que la majoria de les aplicacions d'IA interessants, com l'automatització del desenvolupament científic i tecnològic i la investigació, semblen requerir una certa recerca d'objectius.
"No és cap error que puguis aconseguir GPT per escriure un haiku net, però no pots aconseguir-ho per escriure una novel·la. Les limitacions dels sistemes actuals estan relacionades amb el fet que no persegueixen aquests objectius més profunds, almenys per a mi".
Llegir més:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Cindy és periodista a Metaverse Post, tractant temes relacionats amb web3, NFT, metavers i IA, amb un focus en les entrevistes amb Web3 actors del sector. Ha parlat amb més de 30 executius de nivell C i comptant, aportant els seus valuosos coneixements als lectors. Cindy, originària de Singapur, ara té la seu a Tbilisi, Geòrgia. Té una llicenciatura en Comunicació i Estudis de Mitjans de Comunicació per la Universitat d'Austràlia Meridional i té una dècada d'experiència en periodisme i escriptura. Posa't en contacte amb ella via [protegit per correu electrònic] amb presentacions de premsa, anuncis i oportunitats d'entrevistes.
més articles
Cindy és periodista a Metaverse Post, tractant temes relacionats amb web3, NFT, metavers i IA, amb un focus en les entrevistes amb Web3 actors del sector. Ha parlat amb més de 30 executius de nivell C i comptant, aportant els seus valuosos coneixements als lectors. Cindy, originària de Singapur, ara té la seu a Tbilisi, Geòrgia. Té una llicenciatura en Comunicació i Estudis de Mitjans de Comunicació per la Universitat d'Austràlia Meridional i té una dècada d'experiència en periodisme i escriptura. Posa't en contacte amb ella via [protegit per correu electrònic] amb presentacions de premsa, anuncis i oportunitats d'entrevistes.
