Vitalik Buterin a ředitel MIRI Nate Soares se ponoří do nebezpečí AI: Mohla by umělá inteligence způsobit vyhynutí lidstva?
Stručně
Zakladatel Etherea Vitalik Buterin a ředitel Výzkumného institutu strojové inteligence Nate Soares dnes na Zuzalu diskutovali o rizicích umělé inteligence.
Zuzalu je pop-up městská komunita v Černé Hoře iniciovaná Buterinem a jeho vrstevníky v kryptokomunitě.
V diskusi se Soares podělil o svůj pohled na to, proč je vysoce pravděpodobné, že AI ukončí veškerý život na Zemi.
Zakladatel Etherea Vitalik Buterin a ředitel Machine Intelligence Research Institute (MIRI) Nate Soares diskutovali dnes na Zuzalu o rizicích umělé inteligence.
Zuzalu je „komunita vyskakovacího města“ v Černé Hoře, kterou inicioval Buterin a jeho vrstevníci v kryptokomunitě, která běží od 25. března do 25. května. Akce sdružuje 200 hlavních obyvatel se společnou touhou učit se, tvořit, žít déle a zdravěji. životy a budovat soběstačné komunity. V průběhu dvou měsíců komunita také pořádá řadu akcí na různá témata, jako je syntetická biologie, technologie pro ochranu soukromí, veřejné statky, dlouhověkost, správa věcí veřejných a další.
Projekt diskuse zahájil Soares představením své práce v MIRI, neziskové organizaci se sídlem v Berkeley, která existuje déle, než ji provozuje. Posledních 20 let se MIRI snaží položit základy k zajištění toho, aby vývoj umělé inteligence probíhal dobře. Vitalik doufal, že se touto diskusí vypořádá s tím, co dělá AI jedinečně rizikovou ve srovnání s jinými technologiemi vydanými v historii lidstva.
Pravděpodobnost, že AI způsobí vyhynutí lidstva
Vitalik řekl, že se o téma rizik umělé inteligence zajímá již dlouhou dobu a vzpomněl si, jak byl přesvědčen, že existuje 0.5–1% šance, že veškerý život na Zemi přestane existovat, pokud se umělá inteligence pokazí – existenciální riziko, které by způsobilo vyhynutí lidské rasy nebo nevratný kolaps lidské civilizace.
Z pohledu Soarese vypadá vymírání lidí jako výchozí výsledek nebezpečného vývoje technologie AI. Když to srovnal s evolucí, řekl, že vývoj lidstva se zdál probíhat rychleji než pouhé evoluční změny. Jak v procesech umělé inteligence, tak v procesech lidské evoluce se měnila dominantní optimalizace – proces hledání nejlepšího řešení problému, kdy je třeba zvážit více cílů. Lidé dosáhli bodu, kdy byli schopni předávat znalosti ústním podáním namísto toho, aby měli informace pevně zapojené do genů prostřednictvím přirozeného výběru.
„AI je nakonec případ, kdy můžete znovu přepnout proces makroskopické optimalizace. Myslím, že optimalizaci dokážete mnohem lépe než lidé. Myslím, že jsme pořád dost hloupí, pokud jde o optimalizaci našeho okolí. S umělou inteligencí procházíme fázovým přechodem, kdy automatická optimalizace je silou, která určuje makroskopické rysy vesmíru,“ vysvětlil Soares.
Dodal, že to, jak tato budoucnost vypadá, je to, pro co se optimalizační proces optimalizuje, a to pravděpodobně přestane být pro lidstvo přínosné, protože většina optimalizačních cílů nemá místo pro lidi.
| Číst: Konzultační společnost Axon Partners Group vydala zprávu „Přijetí umělé inteligence v roce 2023“. |
Mohou lidé trénovat umělou inteligenci, aby konala dobro?
Buterin poukázal na to, že lidé trénují AI a říkají jí, jak optimalizovat. V případě potřeby by mohli změnit způsob optimalizace stroje. Soares k tomu řekl, že je v zásadě možné trénovat AI tak, aby dělala dobro, ale pouhé trénování AI k dosažení cíle neznamená, že by to chtělo nebo chtělo dělat, scvrkává se na touhu.
Buterin se zaměřil na posilování učení ve velkých jazykových modelech, které získávají velké množství dat o tom, jaké jsou lidské preference, a zeptal se, proč by to nefungovalo, protože stávající inteligence je stále lepší v chápání našich preferencí.
"Mezi pochopením naší motivace a tím, že se na to vykašleme, je velká propast,"
odpověděl Soares.
„Netvrdím, že velký jazykový model nebo umělá inteligence nebudou rozumět drobnostem lidských preferencí. Tvrdím, že pochopení detailů lidských preferencí je velmi odlišné od optimalizace pro dobro,“ dodal.
Člen publika provedl srovnání mezi umělou inteligencí a lidmi a řekl, že stejně jako umělá inteligence mají lidé tendenci nerozumět tomu, co dělají nebo předpovídají, což může být také nebezpečné. Poté požádal Soarese, aby předstíral, že je mimozemšťan, a vysvětlil, proč by tam neměli být lidé.
"Nebyl bych nadšený tím, že bych dal božské schopnosti a kontrolu nad budoucností jedinému člověku." Samostatně bych byl mnohem nadšenější, kdybych dal moc jedinému člověku než náhodně obsazené AI. Rozhodně neříkám, že bychom neměli mít AI. Říkám, že to musíme dát do pořádku. Musíme je přimět, aby se starali o budoucnost, která je plná zábavy a štěstí a vzkvétající civilizace, kde translidé obchodují s mimozemšťany a tak dále,“ vysvětlil Soares. "Pokud vybudujete silný optimalizační proces, který se stará o různé věci, může to potenciálně zničit všechny hodnoty vesmíru."
Dodal, že věci, které si lidé váží, nejsou univerzálně přesvědčivé a že morálka není něco, o co by se každá mysl, která ji studuje, snažila. Místo toho je to výsledek pohonů zabudovaných do lidí, které v prostředí předků způsobily, že jsme dobří v reprodukci a jsou pro lidi specifické.
Nakonec Soares věří, že bychom neměli stavět něco, co je podobně inteligentní nebo ještě inteligentnější, co není v souladu se zábavou, štěstím a vzkvétající budoucností. Na druhou stranu také řekl, že lidstvo by nemělo budovat přátelskou superinteligenci, která optimalizuje zábavnou budoucnost na první pokus během závodu ve zbrojení. Z krátkodobého hlediska by se AI měla věnovat pomoci lidstvu koupit si čas a prostor, aby zjistilo, co vlastně chce.
ChatGPT nepohltí celou biosféru
Vzhledem k tomu, že umělá inteligence je v současnosti vytvářena tak, aby dosahovala konkrétních cílů, včetně předpovědí, Buterin se zeptal, co kdyby umělá inteligence nebyla cílená? Soares řekl, že je snadné vytvořit AI, které jsou bezpečné a neschopné, a možná brzy budeme mít AI, které jsou schopné, ale sledují různé věci. Nemyslí ChatGPT spotřebuje celou biosféru, protože není na takové úrovni schopností.
Soares poznamenal, že většina zajímavých aplikací umělé inteligence, jako je automatizace vědeckého a technologického vývoje a výzkumu, zřejmě vyžaduje určité sledování cílů.
"Není to žádná chyba, kterou můžeš dostat." GPT napsat úhledné haiku, ale nemůžete ho přimět napsat román. Omezení současných systémů souvisí s tím, že nesledují tyto hlubší cíle, alespoň pro mě.“
Čtěte více:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Cindy je novinářka v Metaverse Post, pokrývající témata související s web3, NFT, metaverse a AI, se zaměřením na rozhovory s Web3 hráči v oboru. Mluvila s více než 30 manažery na úrovni C a počítání a přinesla jejich cenné poznatky čtenářům. Cindy pochází ze Singapuru a nyní sídlí v Tbilisi v Gruzii. Je držitelkou bakalářského titulu v oboru komunikačních a mediálních studií na University of South Australia a má desetileté zkušenosti v žurnalistice a psaní. Spojte se s ní přes [chráněno e-mailem] s tiskovými nabídkami, oznámeními a příležitostmi k rozhovorům.
Další články
Cindy je novinářka v Metaverse Post, pokrývající témata související s web3, NFT, metaverse a AI, se zaměřením na rozhovory s Web3 hráči v oboru. Mluvila s více než 30 manažery na úrovni C a počítání a přinesla jejich cenné poznatky čtenářům. Cindy pochází ze Singapuru a nyní sídlí v Tbilisi v Gruzii. Je držitelkou bakalářského titulu v oboru komunikačních a mediálních studií na University of South Australia a má desetileté zkušenosti v žurnalistice a psaní. Spojte se s ní přes [chráněno e-mailem] s tiskovými nabídkami, oznámeními a příležitostmi k rozhovorům.
