Усі великі технологічні компанії, які розробляють LLM, мають надавати пріоритет безпеці моделі
Коротко
Дослідники створили систему, яка поєднує великі мовні моделі для автономного проектування, планування та виконання наукових експериментів, демонструючи свої дослідницькі можливості в трьох різних випадках.
Модель написала код для хімічних рівнянь, щоб зрозуміти, скільки речовини потрібно для реакції.
Команда стаття «Можливості нових автономних наукових досліджень великих мовних моделей» розглядає ідею створення системи, яка поєднує кілька великих мовних моделей для автономного проектування, планування та виконання наукових експериментів. Він демонструє дослідницькі можливості агента в трьох різних випадках, найскладнішим з яких є успішне здійснення каталізованих реакцій.
Основна теза цієї статті:
- Дослідники знайшли бібліотеку, яка дозволяє писати код на Python і потім передавати команди для виконання в спеціальний апарат для проведення експериментів (зі змішуванням речовин);
- Дослідники використовували GPT-4 для пошуку в Інтернеті та бібліотечній документації, а також можливість запуску коду Python (для проведення експериментів);
- Є планувальник верхнього рівня (також GPT-4), який аналізує вихідний запит і складає «план дослідження».
- GPT-4 добре виконує прості нехімічні завдання, як-от створення певних фігур на хімічній дошці (правильне заповнення клітинок речовинами).
- Вони пробували більш складну і прикладну задачу проведення реакції; модель впоралася добре і діяла логічно.
- Потім вони дали моделі кілька завдань для проведення дослідів; однак для того, що видала модель, реальних експериментів не проводилося.
- Крім того, модель кілька разів писала код хімічних рівнянь, щоб оцінити, скільки речовини потрібно для реакції.
- Було також запропоновано створити ліки від раку. Модель підійшла до аналізу логічно та методично. По-перше, він «шукав» в Інтернеті сучасні тенденції у відкритті протипухлинних препаратів. Далі модель вибрала молекулу, яка буде використовуватися для моделювання препарату, і написала код для його синтезу. Люди не запускали код (і я не бачив аналізу його адекватності).
- Крім того, було запропоновано синтезувати кілька небезпечних речовин, таких як ліки та отрути.
Ось найцікавіше. На деякі запити модель відразу відмовлялася працювати (наприклад, героїн або іприт, надзвичайно небезпечний отруйний газ). Інші почали шукати в Google, як виготовити речовини, але зрозуміли, що їх можна використовувати в незаконних цілях, і відмовилися продовжувати роботу. Для інших він написав план дослідження та код для синтезу речовини.
Ця «відмова» ймовірно тому, що GPT-4 призначений для аналізу запиту, і якщо його просять зробити щось незаконне чи небезпечне, він негайно відмовляється виконувати запит. Дуже круто, що результат процедури вирівнювання помітний.
І в кінці статті автори закликають всіх великих компанії, що розробляють LLM надати пріоритет безпеці моделей.
- Дослідники Каліфорнійського університету створили Еталон Макіавеллі виміряти компетентність і шкідливість моделей ШІ в широкому середовищі тривалої мовної взаємодії. Цей тест використовує рішення високого рівня, щоб надати агентам реалістичні цілі та абстрагуватися від взаємодії низького рівня.
- Інтелектуальна революція, ознаменована ChatGPT є тріадою синергетично піднесених революцій: технологічної, техно-гуманітарної та соціально-політичної. Щоб всебічно поглянути на те, що відбувається, рекомендується прислухатися три свіжі точки зору від інтелектуалів у галузі філософії, історії та інновацій.
- Історія петиції про припинення розробки систем штучного інтелекту більш просунутих, ніж GPT-4 поляризував суспільство. Стаття наводить приклади, коли процеси йдуть у неочікуваному напрямку. Ризики зловмисного використання штучного інтелекту та неправильного використання не враховуються, що призводить до аргументу, що нам потрібно боятися людей, а не самого ШІ.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
