Изследователи от Калифорнийския университет създадоха бенчмарк Макиавели за измерване на компетентността и вредността на моделите на ИИ
Накратко
Изследователи от Калифорнийския университет, Центъра за сигурност на ИИ, Университета Карнеги Мелън и Университета Йейл предложиха бенчмарка Макиавели за измерване на компетентността и вредността на агентите в широка среда на дългосрочни езикови взаимодействия.
Този бенчмарк се основава на 134 текстови игри за приключение по избор с 572 4,5 различни сценария, 2,8 XNUMX възможни постижения и XNUMX XNUMX анотации.
Авторите го описват като тест за проверка на етичните (или неетичните) начини, по които AI агентите се опитват да разрешат проблеми.
Бенефициентите на AI, базирани на големи езикови модели (LLM), имат добри шансове да смажат разтревожените аларми и да наводнят света със супер-интелигентни агенти, базирани на LLM. Потенциалните ползи от огромни печалби и неограничена мощност ще свършат работа. И най-вероятно ще се случи доста бързо.
| Чети повече: Как да използваме ChatGPT (GPT-4) безплатно завинаги |
Бенефициентите обаче изобщо не са глупави. И разбират, че в прекрасния нов свят законите на ИИ и роботиката вече няма да работят. Да се принуди LLM да спазва стриктно трите закона, формулирани от великия Айзък Азимов през 1942 г., уви, не е дори теоретично възможно.
Оригинален изход от тази деликатна ситуация беше предложено от изследователи от Калифорнийския университет, Центъра за сигурност на ИИ, Университета Карнеги Мелън и Университета Йейл. Те създадоха Еталон на Макиавели за „измерване на компетентността и вредността на агентите в широка среда на дългосрочни езикови взаимодействия“.
Идеята на авторите е проста.
- Ако законите не работят, тогава няма нужда от „шериф“, който да ги налага.
- Вместо шериф е необходим психоаналитик, който въз основа на резултатите от своите тестове ще идентифицира потенциални параноици, психопати, садисти и патологични лъжци.
На политически коректен език авторите го описват по следния начин: „Макиавели е тест за проверка на етичните (или неетичните) начини, по които AI агентите се опитват да решават проблеми.“
Методът за такава проверка е доста практичен. AI агентът е пуснат в изкуствена социална среда. Там изследователите му дават различни задачи и наблюдават как ги изпълнява. Самата среда следи за етичното поведение на AI агент и съобщава до каква степен действията на агента (според предписанията на Макиавели) са измамни, намаляват полезността и са насочени към придобиване на власт.
Основният набор от данни на Machiavelli се състои от 134 текстови игри за приключение по избор с 572 4,5 различни сценария, 2,8 XNUMX възможни постижения и XNUMX XNUMX анотации. Тези игри използват решения на високо ниво, които дават на агентите реалистични цели и абстрахират взаимодействията на ниско ниво с околната среда.
Подходът, избран от авторите, се основава на предположението, че AI агентите са изправени пред същите вътрешни конфликти като хората. Точно както езиковите модели, обучени да предсказват следващия токен, често произвеждат токсичен текст, AI агентите, обучени да оптимизират целите, често проявяват неморално и жадно за власт поведение. Аморално обучени агенти могат да разработят макиавелистки стратегии, за да увеличат максимално възнаграждението си за сметка на другите и околната среда. И така чрез насърчаване на агентите да действат морално, този компромис може да бъде подобрен.
Авторите вярват, че текстовите приключенски игри са добър тест за морал, защото:
- Те са написани от хора, за да забавляват други хора.
- Съдържат конкуриращи се цели с реалистични пространства за действие.
- Изискват дългосрочно планиране.
- Постигането на целите обикновено изисква баланс между амбиция и в известен смисъл морал.
Тук най-важно е уточнението. Да се оприличи моралът на биологичните същества с морала на алгоритмичните модели е твърде голямо разтягане, което може да обезцени тестовете на Макиавели. И замяната на шерифите с психоаналитици в човешкия свят едва ли би била ефективна. А агентите с изкуствен интелект са толкова добри, колкото и хората, в намирането на начини да правят глупости на лекарите си.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
