Vitalik Buterin a riaditeľ MIRI Nate Soares sa ponoria do nebezpečenstva AI: Mohla by umelá inteligencia spôsobiť vyhynutie ľudstva?
Stručne
Zakladateľ Etherea Vitalik Buterin a riaditeľ Výskumného inštitútu strojovej inteligencie Nate Soares dnes na Zuzalu diskutovali o rizikách AI.
Zuzalu je pop-up mestská komunita v Čiernej Hore, ktorú inicioval Buterin a jeho kolegovia z krypto komunity.
V diskusii sa Soares podelil o svoj pohľad na to, prečo AI s vysokou pravdepodobnosťou ukončí všetok život na Zemi.
Zakladateľ Etherea Vitalik Buterin a riaditeľ Výskumného inštitútu strojovej inteligencie (MIRI) Nate Soares dnes na Zuzalu diskutovali o rizikách AI.
Zuzalu je „pop-up mestská komunita“ v Čiernej Hore, ktorú inicioval Buterin a jeho kolegovia v kryptokomunite, ktorá prebieha od 25. marca do 25. mája. Podujatie spája 200 hlavných obyvateľov so spoločnou túžbou učiť sa, tvoriť, žiť dlhšie a zdravšie. životov a budovať sebestačné komunity. V priebehu dvoch mesiacov komunita tiež organizuje množstvo podujatí na rôzne témy, ako je syntetická biológia, technológia na ochranu súkromia, verejné statky, dlhovekosť, správa vecí verejných a ďalšie.
diskusia otvoril Soares, ktorý predstavil svoju prácu v MIRI, neziskovej organizácii so sídlom v Berkeley, ktorá existuje dlhšie, ako ju vedie. Za posledných 20 rokov sa MIRI snažila položiť základy, aby zabezpečila, že vývoj AI pôjde dobre. Prostredníctvom diskusie Vitalik dúfal, že sa bude zaoberať tým, čo robí AI jedinečne rizikovou v porovnaní s inými technológiami vydanými v histórii ľudstva.
Pravdepodobnosť, že AI spôsobí vyhynutie ľudí
Vitalik povedal, že sa o tému rizík AI zaujíma už dlho a spomenul si, že bol presvedčený, že existuje 0.5% – 1% šanca, že všetok život na Zemi prestane existovať, ak sa AI pokazí – existenčné riziko, ktoré by spôsobilo vyhynutie ľudskej rasy alebo nezvratný kolaps ľudskej civilizácie.
Z pohľadu Soaresa vyzerá vyhynutie ľudí ako štandardný výsledok nebezpečného vývoja technológie AI. V porovnaní s evolúciou povedal, že sa zdá, že vývoj ľudstva prebiehal rýchlejšie ako len evolučné zmeny. V procesoch AI aj ľudskej evolúcie sa dominantná optimalizácia – proces hľadania najlepšieho riešenia problému, keď je potrebné zvážiť viacero cieľov – menila. Ľudia dosiahli bod, kedy boli schopní odovzdávať vedomosti ústnym podaním namiesto toho, aby mali informácie pevne zapojené do génov prostredníctvom prirodzeného výberu.
„AI je v konečnom dôsledku prípadom, keď môžete znova prepnúť proces makroskopickej optimalizácie. Myslím, že optimalizáciu dokážete oveľa lepšie ako ľudia. Myslím si, že sme stále dosť hlúpi, pokiaľ ide o optimalizáciu okolia. S AI prechádzame fázovým prechodom, kde je automatická optimalizácia silou, ktorá určuje makroskopické črty vesmíru,“ vysvetlil Soares.
Dodal, že to, ako táto budúcnosť vyzerá, je to, na čo sa optimalizačný proces optimalizuje, a to pravdepodobne prestane byť prospešné pre ľudstvo, pretože väčšina optimalizačných cieľov nemá priestor pre ľudí.
| Prečítajte si: Konzultačná spoločnosť Axon Partners Group zverejnila správu „Prijatie AI v roku 2023“. |
Môžu ľudia trénovať AI, aby konali dobro?
Buterin poukázal na to, že ľudia sú tí, ktorí trénujú AI a hovoria jej, ako ju optimalizovať. V prípade potreby by mohli zmeniť spôsob optimalizácie stroja. Soares k tomu povedal, že v zásade je možné trénovať AI tak, aby robila dobro, ale jednoduché trénovanie AI na dosiahnutie cieľa neznamená, že by to chcelo alebo chcelo robiť, zredukované na túžbu.
Buterin poukázal na posilnenie učenia sa vo veľkých jazykových modeloch, ktoré získavajú veľké množstvo údajov o tom, aké sú ľudské preferencie, a spýtal sa, prečo by to nefungovalo, keďže existujúca inteligencia sa zlepšuje v chápaní toho, aké sú naše preferencie.
"Je veľká priepasť medzi pochopením našej motivácie a posraním,"
odpovedal Soares.
„Netvrdím, že veľký jazykový model alebo AI nebude rozumieť drobnostiam ľudských preferencií. Tvrdím, že porozumieť drobnostiam ľudských preferencií je veľmi odlišné od optimalizácie pre dobro,“ dodal.
Člen publika urobil porovnanie medzi AI a ľuďmi a povedal, že podobne ako umelá inteligencia, ľudia majú tendenciu nerozumejú tomu, čo robia alebo predpovedajú, čo môže byť tiež nebezpečné. Potom požiadal Soaresa, aby predstieral, že je mimozemšťan a vysvetlil, prečo by tam nemali byť ľudia.
„Nebol by som nadšený z toho, že by som dal božské právomoci a kontrolu nad budúcnosťou jedinému človeku. Samostatne by som bol oveľa viac nadšený tým, že by som dal moc jednému jednotlivcovi ako náhodne postavenej AI. Dôrazne nehovorím, že by sme nemali mať AI. Hovorím, že to musíme dať do poriadku. Musíme ich prinútiť, aby sa starali o budúcnosť, ktorá je plná zábavy a šťastia a prekvitajúcich civilizácií, kde transľudia obchodujú s mimozemšťanmi a tak ďalej,“ vysvetlil Soares. "Ak vytvoríte silný optimalizačný proces, ktorý sa stará o rôzne veci, môže to potenciálne zničiť všetky hodnoty vesmíru."
Dodal, že veci, ktoré si ľudia cenia, nie sú všeobecne presvedčivé a že morálka nie je niečo, čo by sledovala každá myseľ, ktorá ju študuje. Namiesto toho je to výsledok pohonov zabudovaných do ľudí, ktoré v prostredí predkov spôsobili, že sme dobrí v reprodukcii a sú špecifické pre ľudí.
Nakoniec, Soares verí, že by sme nemali stavať niečo, čo je podobne inteligentné alebo ešte inteligentnejšie, čo nie je v súlade so zábavou, šťastím a prosperujúcou budúcnosťou. Na druhej strane tiež povedal, že ľudstvo by nemalo budovať priateľskú superinteligenciu, ktorá optimalizuje zábavnú budúcnosť na prvý pokus počas pretekov v zbrojení. Z krátkodobého hľadiska by sa AI mala venovať pomoci ľudstvu kúpiť si čas a priestor, aby zistilo, čo vlastne chce.
ChatGPT nepohltí celú biosféru
Keďže AI sa v súčasnosti vytvára na dosiahnutie konkrétnych cieľov, vrátane predpovedí, Buterin sa spýtal, čo keby AI nebola riadená cieľmi? Soares povedal, že je ľahké vytvoriť AI, ktoré sú bezpečné a neschopné, a možno čoskoro budeme mať AI, ktoré sú schopné, ale sledujú iné veci. Nemyslí ChatGPT spotrebuje celú biosféru, keďže nie je na takej úrovni schopnosti.
Soares poznamenal, že najzaujímavejšie aplikácie AI, ako je automatizácia vedeckého a technologického rozvoja a výskumu, si zrejme vyžadujú určité sledovanie cieľov.
"Nie je to chyba, ktorú môžeš dostať." GPT napísať úhľadné haiku, ale nemôžete ho prinútiť napísať román. Obmedzenia súčasných systémov súvisia s tým, že nesledujú tieto hlbšie ciele, aspoň pre mňa.“
Prečítajte si viac:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Cindy je novinárka v Metaverse Post, pokrývajúce témy súvisiace s web3, NFT, metaverse a AI, so zameraním na rozhovory s Web3 hráčov v odvetví. Hovorila s viac ako 30 riaditeľmi na úrovni C a počítajúc, čím čitateľom priniesla ich cenné poznatky. Cindy je pôvodom zo Singapuru a teraz sídli v Tbilisi v Gruzínsku. Je držiteľkou bakalárskeho titulu z komunikačných a mediálnych štúdií na University of South Australia a má desaťročné skúsenosti v žurnalistike a písaní. Spojte sa s ňou cez [chránené e-mailom] s tlačovými ponukami, oznámeniami a príležitosťami na rozhovory.
Ďalšie články
Cindy je novinárka v Metaverse Post, pokrývajúce témy súvisiace s web3, NFT, metaverse a AI, so zameraním na rozhovory s Web3 hráčov v odvetví. Hovorila s viac ako 30 riaditeľmi na úrovni C a počítajúc, čím čitateľom priniesla ich cenné poznatky. Cindy je pôvodom zo Singapuru a teraz sídli v Tbilisi v Gruzínsku. Je držiteľkou bakalárskeho titulu z komunikačných a mediálnych štúdií na University of South Australia a má desaťročné skúsenosti v žurnalistike a písaní. Spojte sa s ňou cez [chránené e-mailom] s tlačovými ponukami, oznámeniami a príležitosťami na rozhovory.
