Віталік Бутерін і директор MIRI Нейт Соарес досліджують небезпеки ШІ: чи може штучний інтелект спричинити вимирання людства?
Коротко
Засновник Ethereum Віталік Бутерін і директор Дослідницького інституту машинного інтелекту Нейт Соарес сьогодні обговорили ризики ШІ в Zuzalu.
Zuzalu — це спливаюча міська спільнота в Чорногорії, ініційована Бутеріном та його однолітками в криптоспільноті.
Під час обговорення Соарес поділився своєю точкою зору щодо того, чому штучний інтелект, швидше за все, покінчить із життям на Землі.
Засновник Ethereum Віталік Бутерін і директор Науково-дослідного інституту машинного інтелекту (MIRI) Нейт Соарес обговорили ризики ШІ сьогодні в Zuzalu.
Zuzalu — це «спливаюче міське співтовариство» в Чорногорії, ініційоване Бутеріном та його однолітками в крипто-спільноті, яке триватиме з 25 березня по 25 травня. Подія об’єднує 200 основних жителів із спільним бажанням навчатися, творити, жити довше та здоровіше. життя та створювати самодостатні громади. Протягом двох місяців спільнота також проводить низку заходів на різні теми, як-от синтетична біологія, технології для конфіденційності, суспільні блага, довголіття, управління тощо.
Команда обговорення відкрився тим, що Соарес представив свою роботу в MIRI, некомерційній організації в Берклі, яка існує довше, ніж він нею керує. Протягом останніх 20 років MIRI намагався закласти основу для того, щоб розробка штучного інтелекту проходила добре. Під час обговорення Віталік сподівався пояснити, що робить ШІ надзвичайно ризикованим порівняно з іншими технологіями, випущеними в історії людства.
Ймовірність штучного інтелекту спричинити вимирання людства
Віталік сказав, що він давно цікавиться темою ризиків штучного інтелекту і пам’ятає, як був переконаний, що існує 0.5%-1% ймовірності того, що все життя на Землі припинить існування, якщо штучний інтелект піде не так. зникнення людського роду або незворотний крах людської цивілізації.
З точки зору Соареса, вимирання людини виглядає як результат небезпечного розвитку технології штучного інтелекту. Порівнюючи це з еволюцією, він сказав, що розвиток людства, здається, відбувався швидше, ніж просто еволюційні зміни. І в процесах штучного інтелекту, і в процесі еволюції людини змінювалася домінуюча оптимізація – процес пошуку найкращого рішення проблеми, коли потрібно розглядати кілька цілей. Люди досягли точки, коли вони могли передавати знання з вуст в уста замість того, щоб мати інформацію, закріплену в генах за допомогою природного відбору.
«Зрештою, штучний інтелект — це той випадок, коли ви можете знову змінити процес макроскопічної оптимізації. Я думаю, що ви можете зробити набагато краще, ніж люди, щодо оптимізації. Я думаю, що ми все ще досить тупі, коли справа доходить до оптимізації нашого оточення. За допомогою штучного інтелекту ми проходимо через свого роду фазовий перехід, коли автоматизована оптимізація є тією силою, яка визначає макроскопічні характеристики Всесвіту», — пояснив Соарес.
Він додав, що це майбутнє виглядає як те, для чого оптимізується процес оптимізації, і це, швидше за все, перестане бути корисним для людства, оскільки в більшості цілей оптимізації немає місця для людей.
Чи можуть люди навчити ШІ робити добро?
Бутерін зазначив, що люди навчають штучний інтелект і вказують йому, як оптимізувати. За потреби вони можуть змінити спосіб оптимізації машини. На це Соарес сказав, що в принципі можливо навчити штучний інтелект робити добро, але просто навчити штучний інтелект досягати мети не означає, що він буде або хоче це робити, зводячись до бажання.
Говорячи про навчання з підкріпленням у великих мовних моделях, які отримують великі обсяги даних про людські вподобання, Бутерін запитав, чому це не спрацює, оскільки існуючий інтелект стає все краще розуміти наші вподобання.
«Існує велика прірва між розумінням наших мотивацій і нахабним»
Соарес відповів.
«Я не стверджую, що велика мовна модель або штучний інтелект не розумітимуть дрібниць людських уподобань. Я стверджую, що розуміння дрібниць людських уподобань суттєво відрізняється від оптимізації для добра», – додав він.
Член аудиторії порівняв ШІ та людей, сказавши, що, як і штучний інтелект, люди, як правило, не розуміють, що вони роблять або прогнозують, що також може бути небезпечним. Потім він попросив Соареса вдати, що він інопланетянин, і пояснити, чому не повинно бути людей.
«Я б не був у захваті від надання богоподібних повноважень і контролю над майбутнім одній людині. Окремо я був би в більшому захваті від того, щоб надати владу окремій людині, ніж штучному інтелекту з випадковими ролями. Я категорично не стверджую, що ми не повинні мати ШІ. Я кажу, що нам потрібно все виправити. Нам потрібно змусити їх дбати про майбутнє, яке буде сповнене веселощів і щастя, а також процвітаючих цивілізацій, де транслюди торгують з інопланетянами і так далі», — уточнив Соарес. «Якщо ви побудуєте потужний процес оптимізації, який дбатиме про різні речі, це потенційно може знищити всі цінності Всесвіту».
Він додав, що речі, які цінують люди, не є універсально переконливими і що мораль не є чимось, до чого прагнув би будь-який розум, який її вивчає. Натомість це результат спонукань, вбудованих у людину, які в середовищі предків змусили нас добре розмножуватися та властиві людям.
Зрештою, Соарес вважає, що ми не повинні будувати щось настільки ж розумне або навіть більш розумне, що не сумісно з веселощами, щастям і процвітаючим майбутнім. З іншого боку, він також сказав, що людство не повинно будувати дружній суперінтелект, який оптимізує веселе майбутнє з першої спроби під час гонки озброєнь. У короткостроковій перспективі ШІ повинен допомогти людству виграти час і простір, щоб зрозуміти, чого вони насправді хочуть.
ChatGPT не буде поглинати всю біосферу
Оскільки штучний інтелект наразі створюється для досягнення конкретних цілей, включаючи прогнозування, Бутерін запитав, що, якби ШІ не керувався цілями? Соарес сказав, що легко створювати безпечні та недієздатні штучні інтелекти, і незабаром у нас можуть з’явитися здатні штучні інтелекти, але які переслідують інші речі. Він не думає ChatGPT поглине всю біосферу, оскільки вона не на такому рівні можливостей.
Соарес зауважив, що більшість цікавих програм штучного інтелекту, таких як автоматизація наукових і технологічних розробок і досліджень, здається, вимагають певного досягнення цілей.
«Це не помилка, яку ви можете отримати GPT щоб написати акуратне хайку, але ви не можете змусити його написати роман. Обмеження поточних систем пов’язані з тим, що вони не переслідують ці глибші цілі, принаймні для мене».
Детальніше:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Сінді працює журналістом у Metaverse Post, що охоплює теми, пов’язані з web3, NFT, метавсесвіт та ШІ, зосереджуючись на інтерв’ю з Web3 гравців галузі. Вона поспілкувалася з понад 30 керівниками вищого рівня та розповіла читачам про їхні цінні ідеї. Родом із Сінгапуру, Сінді тепер живе в Тбілісі, Грузія. Вона отримала ступінь бакалавра з комунікацій та медіа-досліджень в Університеті Південної Австралії та має десятирічний досвід роботи в журналістиці та письменництві. Зв'яжіться з нею через [захищено електронною поштою] з презентаціями для преси, оголошеннями та можливостями для інтерв’ю.
інші статті
Сінді працює журналістом у Metaverse Post, що охоплює теми, пов’язані з web3, NFT, метавсесвіт та ШІ, зосереджуючись на інтерв’ю з Web3 гравців галузі. Вона поспілкувалася з понад 30 керівниками вищого рівня та розповіла читачам про їхні цінні ідеї. Родом із Сінгапуру, Сінді тепер живе в Тбілісі, Грузія. Вона отримала ступінь бакалавра з комунікацій та медіа-досліджень в Університеті Південної Австралії та має десятирічний досвід роботи в журналістиці та письменництві. Зв'яжіться з нею через [захищено електронною поштою] з презентаціями для преси, оголошеннями та можливостями для інтерв’ю.
