Дослідники кидають виклик поняттю «нових можливостей» великих мовних моделей
Коротко
Апокаліпсис AGI викликає занепокоєння через раптову появу великих мовних моделей демонстрація здібностей яких, здається, немає в менших моделях.
Це явище називається «розвитком можливостей великих мовних моделей».
Автори статті «Чи є нові можливості великих мовних моделей міражем?» стверджують, що ефект появи здібностей не є міражем, а радше передбачуваним зростанням здатності виконувати завдання.
Вони показують, що принаймні 92% проблем Big Bench не мають раптового прориву для великих моделей, а якість їхніх моделей зростає плавно та передбачувано зі збільшенням розміру моделей.
Під час нещодавнього дослідження потенційних можливостей великих мовних моделей дослідники кидають виклик поняттю «нових можливостей» і проливають світло на більш передбачуваний аспект їх функціональності. Стаття під назвою «Розкриття реалій нових можливостей великих мовних моделей» привертає увагу до неправильного тлумачення показників, яке призвело до помилкового уявлення про те, що ці моделі спонтанно набувають передових навичок.
Концепція “здібності, що виникають” у контексті великих мовних моделей, таких як GPT серії, викликало занепокоєння щодо потенціалу цих моделей розвивати непередбачені можливості, подібні до людської свідомості. У цьому документі стверджується, що ці припущення ґрунтуються на неправильному розумінні фактичної поведінки та можливостей моделей.
Зазвичай спостережуване явище, коли більші моделі, здавалося б, набувають нових здібностей, таких як абстрактне міркування, вирішення проблем і навіть гумор, було названо «новими здібностями великих мовних моделей». Автори статті стверджують, що ці здібності не такі спонтанні, як здається, а скоріше результат оманливих оціночних метрик.
Щоб проілюструвати свою точку зору, дослідники розглядають завдання «відгадати загадку», задачу, де мовна модель потрібна для розуміння загадки природної мови та відповіді правильною мовою природною мовою. Традиційно якість відповідей оцінюється за допомогою двійкової метрики: відповідь отримує 1 бал, якщо вона точно збігається з правильною відповіддю, і 0 в іншому випадку.
Суть справи полягає в чутливості метрики до складності завдання та кількості параметрів моделі. Дослідники показують, що ця двійкова метрика призводить до a оманливе сприйняття «здібностей, що з’являються». Менші моделі часто демонструють незначну точність (eps) за цим показником, тоді як більші моделі, особливо ті з великою кількістю параметрів, здається, досягають чудових рівнів точності (acc > 0.5).
У статті стверджується, що ця очевидна зміна в здібностях не вказує на те, що моделі спонтанно набувають складних навичок. Натомість здатність моделей розуміти та генерувати більш нюансовані відповіді випливає з більш ретельної оцінки їхніх результатів. Зосереджуючись на імовірнісній відповідності та семантичній узгодженості, а не на точних відповідностях рядків, дослідники показують, що прогресія моделей у виконанні слідує більш логічній траєкторії, незалежно від їх розміру.
| споріднений: Еволюція чат-ботів від T9-Era та GPT-1 до ChatGPT |
Дослідження еволюції продуктивності моделі зі зміною параметрів
Під час аналітичного дослідження дослідники розкривають тонку механіку передбачуваних «нових здібностей» великі мовні моделі. Дослідження ставить під сумнів вплив наддискретних показників на оцінку продуктивності моделі та з’ясовує більш прогнозне розуміння їх можливостей у міру розширення параметрів моделі.
Переважаюче уявлення про «нові здібності» в експансивних мовних моделях викликало дискусії та викликало занепокоєння щодо потенційних проривів. Це дослідження має на меті розкрити механізми, що лежать в основі цього явища, і розшифрувати, чи справді ці моделі демонструють раптові, безпрецедентні можливості, чи ці передбачувані досягнення можна пояснити іншою причиною.
В основі дослідження лежить ретельна оцінка показників, які використовуються для вимірювання продуктивності моделі. Дослідники стверджують, що використання наддискретних метрик, зокрема звичайної двійкової метрики, яка визначає точні збіги рядків, може спотворити інтерпретацію великих здібності мовної моделі. Дослідження прискіпливо аналізує, як розподіл ймовірностей згенерованих моделлю відповідей розвивається в міру масштабу параметрів моделі.
На відміну від поняття «здібності, що з’являються», дослідження виявило більш систематичну тенденцію. Зі збільшенням розміру моделі покращується її здатність призначати вищі ймовірності для правильних відповідей і менші ймовірності для неправильних. Це свідчить про постійне підвищення здатності моделі вміло вирішувати проблеми в широкому діапазоні розмірів. По суті, дослідження показує, що процес навчання моделей відбувається заdefiпотрібна траєкторія покращення, а не раптовий стрибок.
Автори вводять зміну парадигми, пропонуючи заміну дискретних метрик неперервними. Ця зміна дає чіткішу картину еволюції продуктивності. Завдяки своєму аналізу дослідники встановили, що приблизно 92% з Проблеми з великою лавою демонструють плавне та передбачуване зростання якості в міру збільшення розміру моделі. Це відкриття ставить під сумнів уявлення про те, що більші моделі зазнають раптових проривів, і натомість підкреслює більш поступовий і очікуваний прогрес.
Дослідження розширює свої знання, щоб підтвердити свої твердження. Це демонструє, що той самий ефект «нової здатності» можна штучно змоделювати за допомогою звичайних автокодерів, що свідчить про те, що вибір показників суттєво впливає на сприйняті результати. Це відкриття розширює сферу наслідків дослідження, демонструючи його актуальність за межами лише мовних моделей.
Дослідники підкреслюють, що їхні результати ні defiінітивно заперечують потенціал «здібностей, що виникають» або свідомості у великих мовних моделях. Однак їхні висновки спонукають дослідників підходити до таких тверджень з тонкої точки зору. Замість того, щоб поспішно екстраполювати та робити крайні висновки, дослідження підкреслює важливість ретельного дослідження та всебічного аналізу.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
