Виталик Бутерин и директор MIRI Нейт Соарес углубляются в опасности ИИ: может ли искусственный интеллект вызвать вымирание человечества?
Коротко
Основатель Ethereum Виталик Бутерин и директор Исследовательского института машинного интеллекта Нейт Соарес сегодня обсудили риски ИИ в Зузалу.
Zuzalu — это всплывающее городское сообщество в Черногории, инициированное Бутериным и его коллегами по криптосообществу.
В ходе обсуждения Соарес поделился своим мнением о том, почему ИИ, скорее всего, положит конец всей жизни на Земле.
Основатель Ethereum Виталик Бутерин и директор Научно-исследовательского института машинного интеллекта (MIRI) Нейт Соареш сегодня обсудили риски ИИ в Зузалу.
Zuzalu — это «всплывающее городское сообщество» в Черногории, инициированное Бутериным и его коллегами по криптосообществу, которое пройдет с 25 марта по 25 мая. Мероприятие объединяет 200 основных жителей, объединенных общим желанием учиться, творить, жить дольше и здоровее. жизни и создавать самодостаточные сообщества. В течение двух месяцев сообщество также проводит ряд мероприятий по различным темам, таким как синтетическая биология, технологии конфиденциальности, общественные блага, долголетие, управление и многое другое.
Ассоциация обсуждение Начался с того, что Соарес представил свою работу в MIRI, некоммерческой организации в Беркли, которая существует дольше, чем он руководит ею. В течение последних 20 лет MIRI пыталась заложить основу для обеспечения успешного развития ИИ. В ходе обсуждения Виталик надеялся выяснить, что делает ИИ уникально рискованным по сравнению с другими технологиями, выпущенными в истории человечества.
Вероятность того, что ИИ вызовет вымирание человечества
Виталик сказал, что он давно интересовался темой рисков ИИ и помнил, что был убежден, что существует вероятность 0.5%-1%, что вся жизнь на Земле прекратит свое существование, если ИИ пойдет не так, — экзистенциальный риск, который вызовет вымирание рода человеческого или необратимый крах человеческой цивилизации.
С точки зрения Соареса, вымирание человечества выглядит как неизбежный результат небезопасного развития технологии искусственного интеллекта. Сравнивая это с эволюцией, он сказал, что развитие человечества, казалось, происходило быстрее, чем происходили простые эволюционные изменения. И в процессах эволюции ИИ, и в процессах эволюции человека преобладала оптимизация — процесс поиска наилучшего решения проблемы, когда необходимо учитывать несколько целей — менялся. Люди достигли точки, когда они могли передавать знания из уст в уста вместо того, чтобы запрограммировать информацию в гены посредством естественного отбора.
«ИИ — это, в конечном счете, тот случай, когда вы можете снова включить процесс макроскопической оптимизации. Я думаю, что вы можете добиться большего успеха, чем люди, с точки зрения оптимизации. Я думаю, что мы все еще довольно глупы, когда дело доходит до оптимизации нашего окружения. С ИИ мы переживаем своего рода фазовый переход, когда автоматическая оптимизация является силой, определяющей макроскопические особенности Вселенной», — пояснил Соарес.
Он добавил, что то, на что похоже это будущее, — это то, для чего оптимизируется процесс оптимизации, и это, вероятно, перестанет быть полезным для человечества, поскольку в большинстве целей оптимизации нет места для людей.
Могут ли люди научить ИИ творить добро?
Бутерин отметил, что люди обучают ИИ и говорят ему, как оптимизировать. При необходимости они могли изменить способ оптимизации машины. На это Соарес сказал, что в принципе можно обучить ИИ творить добро, но простое обучение ИИ достижению цели не означает, что он будет или хочет это делать, сводится к желанию.
Говоря об обучении с подкреплением в больших языковых моделях, которые получают большие объемы данных о человеческих предпочтениях, Бутерин спросил, почему это не сработает, поскольку существующий интеллект лучше понимает наши предпочтения.
«Между пониманием наших мотивов и тем, что нас волнует, существует большая пропасть».
— ответил Соарес.
«Я не утверждаю, что большая языковая модель или искусственный интеллект не смогут понять тонкости человеческих предпочтений. Я утверждаю, что понимание мелочей человеческих предпочтений сильно отличается от оптимизации ради добра», — добавил он.
Один из зрителей провел сравнение между ИИ и людьми, заявив, что, как и искусственный интеллект, люди, как правило, не понимают, что они делают или предсказывают, что также может быть опасно. Затем он попросил Соареса притвориться инопланетянином и объяснить, почему не должно быть людей.
«Я не был бы в восторге от того, чтобы дать богоподобные силы и контроль над будущим одному человеку. Отдельно я был бы гораздо более взволнован, дав власть одному человеку, чем ИИ со случайными ролями. Я решительно не говорю, что у нас не должно быть ИИ. Я говорю, что мы должны сделать это правильно. Мы должны заставить их заботиться о будущем, полном веселья и счастья, и процветающих цивилизаций, где транслюди участвуют в сделках с инопланетянами с положительной суммой и так далее», — пояснил Соарес. «Если вы создадите сильный процесс оптимизации, который заботится о разных вещах, это потенциально может разрушить все ценности вселенной».
Он добавил, что вещи, которые ценят люди, не являются универсальными, и что мораль — это не то, к чему стремится любой разум, изучающий ее. Наоборот, это результат побуждений, встроенных в людей, которые в среде предков заставляли нас хорошо размножаться и характерны для людей.
В конечном счете, Соарес считает, что мы не должны создавать что-то столь же интеллектуальное или даже более интеллектуальное, что несовместимо с весельем, счастьем и процветающим будущим. С другой стороны, он также сказал, что человечество не должно создавать дружественный сверхразум, который оптимизирует веселое будущее с первой попытки во время гонки вооружений. В краткосрочной перспективе ИИ должен помочь человечеству выиграть время и пространство, чтобы понять, чего они на самом деле хотят.
ChatGPT не будет потреблять всю биосферу
Поскольку ИИ в настоящее время создается для достижения определенных целей, включая прогнозирование, спросил Бутерин, что, если бы ИИ не был целеустремленным? Соарес сказал, что легко создавать безопасные и недееспособные ИИ, и вскоре у нас могут появиться ИИ, которые способны, но преследуют разные цели. он не думает ChatGPT поглотит всю биосферу, поскольку она не на том уровне возможностей.
Соареш отметил, что наиболее интересные приложения ИИ, такие как автоматизация научных и технологических разработок и исследований, требуют определенной погони за целями.
«Это не ошибка, что вы можете получить GPT написать аккуратное хайку, но написать роман не получится. Ограничения нынешних систем связаны с тем, что они не преследуют более глубокие цели, по крайней мере, для меня».
Прочитайте больше:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Синди работает журналистом в Metaverse Post, охватывающие темы, связанные с web3, NFT, метавселенная и ИИ, с акцентом на интервью с Web3 игроки отрасли. Она поговорила с более чем 30 руководителями высшего звена, и их число продолжает расти, поделившись с читателями их ценной информацией. Синди родом из Сингапура, сейчас живет в Тбилиси, Грузия. Она имеет степень бакалавра в области коммуникаций и медиа-исследований Университета Южной Австралии и десятилетний опыт журналистики и писательской деятельности. Свяжитесь с ней через [электронная почта защищена] с презентациями для прессы, объявлениями и возможностями для интервью.
Другие статьи
Синди работает журналистом в Metaverse Post, охватывающие темы, связанные с web3, NFT, метавселенная и ИИ, с акцентом на интервью с Web3 игроки отрасли. Она поговорила с более чем 30 руководителями высшего звена, и их число продолжает расти, поделившись с читателями их ценной информацией. Синди родом из Сингапура, сейчас живет в Тбилиси, Грузия. Она имеет степень бакалавра в области коммуникаций и медиа-исследований Университета Южной Австралии и десятилетний опыт журналистики и писательской деятельности. Свяжитесь с ней через [электронная почта защищена] с презентациями для прессы, объявлениями и возможностями для интервью.
