Dan Hendrycks: Triant entre IA i humans, l'evolució no ens triarà
En breu
La investigació de Dan Hendrycks "La selecció natural prefereix la intel·ligència artificial a les persones" és una conclusió espantosa.
És un investigador experimentat i conegut que ha publicat desenes d'articles científics sobre l'avaluació de la seguretat dels sistemes d'IA.
La investigació de Dan Hendrycks sembla una condemna a mort per a l'Homo Sapiens. La conclusió de l'estudi "La selecció natural afavoreix les IA sobre els humans” fa realment por. Això no va ser escrit per un visionari popular com Dan Brown, sinó per Dan Hendrycks, el director del Centre de Seguretat de la IA de Califòrnia (CAIS), una organització sense ànim de lucre especialitzada en investigació i treball de camp en seguretat de la IA.
Dan Hendrycks no és un boig de pànic davant dels avenços de la IA. És un investigador experimentat i àmpliament respectat que ha publicat desenes d'articles científics sobre l'avaluació de la seguretat dels sistemes d'IA, provant el seu bon nivell de codificació, raonament, comprensió de lleis, etc. Entre altres coses, també és el coinventor de les unitats d'error lineal gaussià (GELU).
Jack Clark, cofundador de ChatGPT El competidor Anthropic, copresident de l'Índex d'IA de la Universitat de Stanford, copresident de la secció d'IA i Càlcul de l'OCDE i membre del Comitè Assessor Nacional sobre IA del govern dels EUA discuteix la conclusió de l'estudi de Hendrycks. "La gent de manera reflexiva vol deixar de banda una afirmació com la d'un boig d'ulls salvatges que viu en una cabana del bosc. M'agradaria refutar això per endavant. Quan un expert que té experiència no només en investigació en IA sinó també en avaluar la seguretat dels sistemes d'IA escriu un article argumentant que els futurs sistemes d'IA poden actuar de manera egoista i no d'acord amb els interessos de la gent, n'hauríem de tenir cura!
Un resum de l'article de Hendrycks:
- Si els agents d'IA esdevenen més intel·ligent que els humans, això podria fer que la humanitat perdi el control del seu futur.
- Això té moltes possibilitats de passar no com a resultat d'alguna intenció especial maliciosa de persones o màquines, sinó únicament com a resultat de l'aplicabilitat dels principis evolutius del desenvolupament a la IA segons la lògica darwiniana.
- Per minimitzar el risc d'això, s'han de dissenyar acuradament les motivacions intrínseques dels agents d'IA, imposar restriccions a les seves accions i crear institucions per fomentar la col·laboració en IA.
És a dir, els punts més significatius que Hendrycks fa en el seu article científic de 43 pàgines:
1. Teníem por de l'arribada del Terminator, però els fonaments d'aquestes pors estaven equivocats. Hi va haver dos errors:
a. Antropomorfització de la IA amb atribució de les nostres motivacions, etc.—com ChatGPT demostrat, la IA és una ment fonamentalment diferent, amb totes les conseqüències que se'n deriven.
b. La idea que la IA és una mena d'entitat única: intel·ligent o poc intel·ligent, amable o poc amable, però de fet, aquestes entitats d'IA tan diferents aviat seran al món tant com sigui possible.
2. Hi ha un altre defecte fonamental en les nostres idees sobre el futur de la IA: ens hem oblidat del mecanisme de desenvolupament més important: l'evolució, que impulsa el desenvolupament no només de bioagents, sinó també d'idees i significats, eines materials i institucions no materials.
3. Ja ha començat a prendre forma a la Terra un entorn en el qual es desenvoluparan i evolucionaran moltes IA. Aquesta evolució anirà segons la lògica de Darwin, a través de la competència de la IA entre ells, tenint en compte els interessos de les seves institucions “matri”: corporacions, militars, etc.
4. La lògica de l'evolució competitiva portarà al mateix que en els humans: els agents d'IA cada cop més intel·ligents es tornaran cada cop més egoistes i disposats a assolir objectius per engany i força, l'objectiu principal serà el poder.
5. La selecció natural dels agents de la IA tendeix a afavorir les espècies més egoistes per sobre de les més altruistes. Els agents d'IA es comportaran de manera egoista i perseguiran els seus propis interessos sense tenir en compte els humans, cosa que podria comportar riscos catastròfics per a la humanitat.
- La petició deixar de desenvolupar sistemes d'IA més avançats que GPT-4 ha polaritzat la societat. El primer grup creu que el progrés no es pot aturar, mentre que un altre creu que el progrés, i de vegades s'hauria d'aturar. El tercer grup no entén com GPT-4 opera en primer lloc. Els detalls més importants d'aquest text són que la IA no té consciència, voluntat o agència i que pot ser dolenta fins i tot sense persones malintencionades.
- Geoffrey Hinton és sovint anomenat el "Padrí de la IA" i es considera una figura destacada a la comunitat d'aprenentatge profund. La seva entrevista de 40 minuts de ChatGPT és únic perquè és fàcil d'entendre i té una profunditat de comprensió accessible a pocs altres. Destaca la importància de la "revolució intel·lectual" en curs i la intel·ligència inhumana de ChatGPT, que es basa en un agent artificialment intel·ligent amb capacitats avançades de comunicació digital.
Llegeix més articles relacionats:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
