Vitalik Buterin og MIRI-direktør Nate Soares dykker ned i farerne ved AI: Kan kunstig intelligens forårsage menneskelig udryddelse?
Kort sagt
Ethereum-grundlægger Vitalik Buterin og direktør for Machine Intelligence Research Institute Nate Soares diskuterede risiciene ved AI på Zuzalu i dag.
Zuzalu er et pop-up-bysamfund i Montenegro, initieret af Buterin og hans jævnaldrende i kryptosamfundet.
I diskussionen delte Soares sit perspektiv på, hvorfor AI højst sandsynligt vil afslutte alt liv på Jorden.
Ethereum-grundlægger Vitalik Buterin og direktør for Machine Intelligence Research Institute (MIRI) Nate Soares diskuterede risiciene ved kunstig intelligens på Zuzalu i dag.
Zuzalu er et "pop-up-bysamfund" i Montenegro initieret af Buterin og hans jævnaldrende i kryptosamfundet, der løber fra 25. marts til 25. maj. Arrangementet samler 200 kernebeboere med et fælles ønske om at lære, skabe, leve længere og sundere liv og opbygge selvbærende fællesskaber. I løbet af to måneder er fællesskabet også vært for en række begivenheder om forskellige emner som syntetisk biologi, teknologi til privatlivets fred, offentlige goder, lang levetid, regeringsførelse og mere.
diskussion åbnede med, at Soares introducerede sit arbejde på MIRI, en Berkeley-baseret non-profit organisation, der har eksisteret længere, end han har drevet den. I de sidste 20 år har MIRI forsøgt at lægge grunden til at sikre, at AI-udviklingen går godt. Med diskussionen håbede Vitalik at adressere, hvad der gør AI unikt risikabelt sammenlignet med andre teknologier, der er frigivet i menneskehedens historie.
Sandsynligheden for, at AI forårsager menneskelig udryddelse
Vitalik sagde, at han har været interesseret i emnet AI-risici i lang tid og huskede at være overbevist om, at der er en 0.5%-1% chance for, at alt liv på Jorden ville ophøre med at eksistere, hvis AI går galt - en eksistentiel risiko, der ville forårsage udryddelsen af den menneskelige race eller den menneskelige civilisations irreversible sammenbrud.
Fra Soares' perspektiv ligner menneskelig udryddelse et standardresultat af den usikre udvikling af AI-teknologi. Ved at sammenligne det med evolution, sagde han, at udviklingen af menneskeheden syntes at ske hurtigere end blot evolutionsændringer var i gang. I både kunstig intelligens og menneskelige udviklingsprocesser var den dominerende optimering – en proces med at finde den bedste løsning på et problem, når der er flere mål at overveje – ved at ændre sig. Mennesker var nået til et punkt, hvor de var i stand til at videregive viden via mund til mund i stedet for at få informationen fastkablet til gener via naturlig selektion.
"AI er i sidste ende et tilfælde, hvor du kan skifte den makroskopiske optimeringsproces igen. Jeg tror, du kan gøre det meget bedre end mennesker optimeringsmæssigt. Jeg synes, vi stadig er ret dumme, når det kommer til at optimere vores omgivelser. Med kunstig intelligens går vi igennem en slags faseovergang, hvor automatiseret optimering er den kraft, der bestemmer universets makroskopiske træk,” forklarede Soares.
Han tilføjede, at hvordan fremtiden ser ud er det, optimeringsprocessen optimerer til, og det vil sandsynligvis stoppe med at være gavnligt for menneskeheden, da de fleste optimeringsmål ikke har plads til mennesker.
Kan mennesker træne AI til at gøre godt?
Buterin påpegede, at det er mennesker, der træner AI og fortæller den, hvordan den skal optimere. Hvis det er nødvendigt, kan de ændre den måde, maskinen er optimeret på. Til det sagde Soares, at det i princippet er muligt at træne AI til at gøre godt, men blot at træne en AI for at nå et mål betyder ikke, at den ville eller ønsker at gøre det, kogende ned til lyst.
Buterin gjorde et punkt om forstærkende læring i store sprogmodeller, der får store mængder data om, hvad menneskelige præferencer er, og spurgte, hvorfor det ikke ville fungere, da eksisterende intelligens bliver bedre til at forstå, hvad vores præferencer er.
"Der er en stor kløft mellem at forstå vores motivationer og at give en lort,"
Soares svarede.
"Min påstand er ikke, at en stor sprogmodel eller AI ikke vil forstå detaljerne i menneskelige præferencer. Min påstand er, at forståelsen af detaljerne i menneskelige præferencer er meget anderledes end at optimere for godhed," tilføjede han.
Et medlem af publikum lavede en sammenligning mellem AI og mennesker og sagde, at ligesom kunstig intelligens, har mennesker en tendens til ikke at forstå, hvad de laver eller forudsiger, hvilket også kan være farligt. Så bad han Soares om at lade som om, han var en alien og forklare, hvorfor der ikke skulle være mennesker.
"Jeg ville ikke være begejstret for at give gudlignende kræfter og kontrol over fremtiden til et enkelt individuelt menneske. Separat ville jeg være meget mere begejstret for at give magt til et enkelt individuelt menneske end til en tilfældigt rollet AI. Jeg siger eftertrykkeligt ikke, at vi ikke skal have AI. Jeg siger, at vi skal have det rigtigt. Vi er nødt til at få dem til at bekymre sig om en fremtid, der er fuld af sjov og lykke og blomstrende civilisationer, hvor transmennesker engagerer sig i positive sumhandler med rumvæsener og så videre,” forklarede Soares. "Hvis du bygger en stærk optimeringsproces, der bekymrer sig om forskellige ting, kan det potentielt ødelægge alle universets værdier."
Han tilføjede, at de ting, mennesker værdsætter, ikke er universelt overbevisende, og at moral ikke er noget, som nogen sind, der studerer den, ville forfølge. I stedet er det resultatet af de drifter, der er indbygget i mennesker, som i forfædrenes miljø fik os til at være gode til at formere sig og er specifikke for mennesker.
I sidste ende mener Soares, at vi ikke skal bygge noget, der er tilsvarende intelligent eller endnu mere intelligent, som ikke er i overensstemmelse med sjov, lykke og blomstrende fremtid. På den anden side sagde han også, at menneskeheden ikke burde bygge en venlig superintelligens, der optimerer en sjov fremtid i sit første forsøg under et våbenkapløb. På kort sigt bør AI være dedikeret til at hjælpe menneskeheden med at købe tid og plads til at finde ud af, hvad de rent faktisk ønsker.
ChatGPT vil ikke forbruge hele biosfæren
Da AI i øjeblikket er ved at blive bygget til at nå bestemte mål, herunder forudsigelse, spurgte Buterin, hvad hvis AI ikke var måldrevet? Soares sagde, at det er nemt at bygge AI'er, der er sikre og ikke-kompatible, og vi kan snart have AI'er, der er i stand til, men som forfølger forskellige ting. Han tænker ikke ChatGPT vil forbruge hele biosfæren, da den ikke er på det kapacitetsniveau.
Soares bemærkede, at de fleste interessante AI-applikationer, såsom automatisering af videnskabelig og teknologisk udvikling og forskning, synes at kræve en vis forfølgelse af mål.
"Det er ingen fejl, du kan få GPT at skrive en pæn haiku, men du kan ikke få den til at skrive en roman. Begrænsningerne ved de nuværende systemer er relateret til det faktum, at de ikke forfølger disse dybere mål, i hvert fald for mig."
Læs mere:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Cindy er journalist på Metaverse Post, der dækker emner relateret til web3, NFT, metaverse og AI, med fokus på interviews med Web3 industriens aktører. Hun har talt med over 30 ledere på C-niveau, og hun har bragt deres værdifulde indsigt til læserne. Oprindeligt fra Singapore, Cindy er nu baseret i Tbilisi, Georgia. Hun har en bachelorgrad i kommunikations- og mediestudier fra University of South Australia og har ti års erfaring med journalistik og forfatterskab. Kontakt hende via [e-mail beskyttet] med pressepitches, annonceringer og interviewmuligheder.
Flere artikler
Cindy er journalist på Metaverse Post, der dækker emner relateret til web3, NFT, metaverse og AI, med fokus på interviews med Web3 industriens aktører. Hun har talt med over 30 ledere på C-niveau, og hun har bragt deres værdifulde indsigt til læserne. Oprindeligt fra Singapore, Cindy er nu baseret i Tbilisi, Georgia. Hun har en bachelorgrad i kommunikations- og mediestudier fra University of South Australia og har ti års erfaring med journalistik og forfatterskab. Kontakt hende via [e-mail beskyttet] med pressepitches, annonceringer og interviewmuligheder.
