Vitalik Buterin och MIRI-chefen Nate Soares fördjupar sig i farorna med AI: Kan artificiell intelligens orsaka mänsklig utrotning?
I korthet
Ethereums grundare Vitalik Buterin och chef för Machine Intelligence Research Institute Nate Soares diskuterade riskerna med AI på Zuzalu idag.
Zuzalu är en popup-stadsgemenskap i Montenegro initierad av Buterin och hans kamrater i kryptogemenskapen.
I diskussionen delade Soares sitt perspektiv på varför AI med stor sannolikhet kommer att avsluta allt liv på jorden.
Ethereums grundare Vitalik Buterin och chef för Machine Intelligence Research Institute (MIRI) Nate Soares diskuterade riskerna med AI på Zuzalu idag.
Zuzalu är en "pop-up stadsgemenskap" i Montenegro initierad av Buterin och hans kamrater i kryptogemenskapen som pågår från 25 mars till 25 maj. Evenemanget samlar 200 kärnbor med en gemensam önskan att lära, skapa, leva längre och hälsosammare liv och bygga självförsörjande samhällen. Under loppet av två månader är communityn också värd för ett antal evenemang om olika ämnen som syntetisk biologi, teknologi för integritet, allmänna nyttigheter, livslängd, styrning och mer.
Smakämnen diskussion inleddes med att Soares introducerade sitt arbete på MIRI, en Berkeley-baserad ideell organisation som har funnits längre än han har drivit det. Under de senaste 20 åren har MIRI försökt lägga grunden för att säkerställa att AI-utvecklingen går bra. Med diskussionen hoppades Vitalik ta itu med vad som gör AI unikt riskabelt jämfört med andra tekniker som släppts i mänsklighetens historia.
Sannolikheten för att AI orsakar mänsklig utrotning
Vitalik sa att han har varit intresserad av ämnet AI-risker under en lång tid och kom ihåg att han var övertygad om att det finns en 0.5-1% chans att allt liv på jorden skulle upphöra att existera om AI går fel - en existentiell risk som skulle orsaka mänsklighetens utrotning eller den mänskliga civilisationens oåterkalleliga kollaps.
Ur Soares perspektiv ser mänsklig utrotning ut som ett standardresultat av den osäkra utvecklingen av AI-teknik. När han jämförde det med evolutionen sa han att mänsklighetens utveckling verkade ske snabbare än bara evolutionsförändringar. I både AI och mänskliga utvecklingsprocesser förändrades den dominerande optimeringen – en process för att hitta den bästa lösningen på ett problem när det finns flera mål att överväga. Människor hade nått en punkt där de kunde förmedla kunskap via mun till mun istället för att ha informationen inkopplad i gener via naturligt urval.
"AI är i slutändan ett fall där du kan byta den makroskopiska optimeringsprocessen igen. Jag tror att du kan göra mycket bättre än människor optimeringsmässigt. Jag tror att vi fortfarande är ganska dumma när det gäller att optimera vår omgivning. Med AI går vi igenom en fasövergång där automatiserad optimering är den kraft som bestämmer universums makroskopiska egenskaper”, förklarade Soares.
Han tillade att hur den framtiden ser ut är vad optimeringsprocessen optimerar för, och det kommer sannolikt att sluta vara fördelaktigt för mänskligheten eftersom de flesta optimeringsmål inte har plats för människor.
Kan människor träna AI för att göra gott?
Buterin påpekade att det är människor som tränar AI och talar om för den hur den ska optimera. Om det behövs kan de ändra hur maskinen är optimerad. Till det sa Soares att det i princip är möjligt att träna AI för att göra gott, men att bara träna en AI för att uppnå ett mål betyder inte att den skulle eller vill göra det, att det handlar om önskan.
Buterin gjorde en poäng om förstärkningsinlärning i stora språkmodeller som får stora mängder data om vad mänskliga preferenser är, och frågade varför det inte skulle fungera, eftersom befintlig intelligens blir bättre på att förstå vad våra preferenser är.
"Det finns en stor klyfta mellan att förstå våra motivationer och att ge en skit,"
Soares svarade.
"Mitt påstående är inte att en stor språkmodell eller AI inte kommer att förstå detaljerna i mänskliga preferenser. Mitt påstående är att förståelse av detaljerna i mänskliga preferenser är väldigt annorlunda än att optimera för godhet, tillade han.
En medlem av publiken gjorde en jämförelse mellan AI och människor och sa att, precis som artificiell intelligens, tenderar människor att inte förstå vad de gör eller förutsäger, vilket också kan vara farligt. Han bad sedan Soares att låtsas att han var en utomjording och förklara varför det inte borde finnas människor.
"Jag skulle inte vara förtjust över att ge gudaliknande krafter och kontroll över framtiden till en enskild människa. Separat skulle jag vara mycket mer förtjust i att ge kraft till en enskild människa än till en slumpmässigt rollad AI. Jag säger med eftertryck inte att vi inte borde ha AI. Jag säger att vi måste få det rätt. Vi måste få dem att bry sig om en framtid som är full av nöje och glädje och blomstrande civilisationer där transmänniskor ägnar sig åt positiva sumaffärer med utomjordingar och så vidare”, förtydligade Soares. "Om du bygger en stark optimeringsprocess som bryr sig om olika saker, kan det potentiellt förstöra alla värden i universum."
Han tillade att de saker som människor värdesätter inte är universellt övertygande och att moral inte är något som någon som studerar den skulle eftersträva. Istället är det resultatet av de drivkrafter som är inbyggda i människor som, i förfädernas miljö, gjorde att vi blev bra på att fortplanta oss och är specifika för människor.
I slutändan anser Soares att vi inte borde bygga något som är lika intelligent eller ännu mer intelligent som är oförenligt med nöje, lycka och blomstrande framtider. Å andra sidan sa han också att mänskligheten inte borde bygga en vänlig superintelligens som optimerar en rolig framtid på sitt första försök under en kapprustning. På kort sikt bör AI ägnas åt att hjälpa mänskligheten att köpa tid och utrymme för att ta reda på vad de faktiskt vill ha.
ChatGPT kommer inte att konsumera hela biosfären
Eftersom AI för närvarande byggs för att uppnå särskilda mål, inklusive förutsägelse, frågade Buterin, vad händer om AI inte var målstyrt? Soares sa att det är lätt att bygga AI:er som är säkra och icke-kapabla, och vi kan snart ha AI:er som är kapabla men som strävar efter olika saker. Han tänker inte ChatGPT kommer att konsumera hela biosfären eftersom den inte är på den nivån av förmåga.
Soares noterade att de flesta intressanta AI-tillämpningar, som att automatisera vetenskaplig och teknisk utveckling och forskning, verkar kräva en viss strävan efter mål.
"Det är inga misstag att du kan få GPT att skriva en snygg haiku, men du kan inte få den att skriva en roman. Begränsningarna för de nuvarande systemen är relaterade till det faktum att de inte strävar efter dessa djupare mål, åtminstone för mig.”
Läs mer:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Cindy är journalist på Metaverse Post, som täcker ämnen relaterade till web3, NFT, metaverse och AI, med fokus på intervjuer med Web3 branschaktörer. Hon har pratat med över 30 chefer på C-nivå och har gett sina värdefulla insikter till läsarna. Cindy kommer ursprungligen från Singapore och är nu baserad i Tbilisi, Georgia. Hon har en kandidatexamen i kommunikations- och mediestudier från University of South Australia och har ett decenniums erfarenhet av journalistik och skrivande. Ta kontakt med henne via [e-postskyddad] med presstitlar, tillkännagivanden och intervjutillfällen.
fler artiklar
Cindy är journalist på Metaverse Post, som täcker ämnen relaterade till web3, NFT, metaverse och AI, med fokus på intervjuer med Web3 branschaktörer. Hon har pratat med över 30 chefer på C-nivå och har gett sina värdefulla insikter till läsarna. Cindy kommer ursprungligen från Singapore och är nu baserad i Tbilisi, Georgia. Hon har en kandidatexamen i kommunikations- och mediestudier från University of South Australia och har ett decenniums erfarenhet av journalistik och skrivande. Ta kontakt med henne via [e-postskyddad] med presstitlar, tillkännagivanden och intervjutillfällen.
