Гіркий урок: чому ChatGPT Перемогла над обчислювальними техніками ручної роботи
Коротко
Есе професора Річа Саттона «Гіркий урок» за 2019 рік передбачає значні досягнення в області ШІ, наприклад ChatGPT/GPT-4 та OpenAIметодики Росії.
Текст підкреслює зміну парадигми ШІ, де обчислювальні методи домінують над продуктивністю без людської інтуїції.
Однак багато дослідники продовжують використовувати підходи, засновані на інтуїції, не звертаючи уваги на потенціал методів, керованих обчисленнями.
есе "Гіркий урок”, написаний професором Річем Саттоном у 2019 році, з тих пір набув значення для експертів з машинного навчання та людей, зацікавлених у розумінні майбутнього ШІ. Статті, надані в цьому документі, передбачили важливі зміни в ШІ, зокрема появу ChatGPT/GPT-4 і прийняття OpenAIметодики Росії.
Основа «Гіркого уроку» досліджує зміну парадигми у сфері ШІ. У минулому вчені, які вивчали штучний інтелект, були схильні думати, що розробка передового штучного інтелекту потребує чудового, відмінного підходу, також відомого як «індуктивне упередження». Ця ідея натякає на додавання спеціальної інформації або інтуїтивного розуміння конкретної проблеми, яка потім спрямовує машинний шлях вирішення.
Центральна тема «Гіркого уроку» розглядає зміну парадигми у вивченні штучного інтелекту. Раніше дослідники, які вивчали штучний інтелект, були схильні вірити, що створення передового штучного інтелекту потребує чудового, унікального підходу. Це зміщення називається «індуктивним зміщенням». Ця концепція передбачає додавання спеціалізованих знань або інтуїтивного розуміння конкретної проблеми, що потім спрямовує шлях вирішення машини.
Але стала очевидною закономірність, що повторюється. Дослідники неодноразово виявляли це, просто додаючи більше дані та обчислювальна потужність, вони можуть перевершити результати, отримані за допомогою цих ретельно розроблених методів. Цей шаблон не був специфічним для однієї сфери, але з’явився в шахах, го, старкрафт і, ймовірно, також у нетоку. Згорткові нейронні мережі, наприклад, краще працюють у сфері комп’ютерного зору, ніж ручні методи SIFT. Цікаво відзначити, що винахідник SIFT пізніше сказав, що якби нейронні мережі були поруч, коли він проводив свої дослідження, він би вибрав цей напрямок дій. Подібно до цього, LSTM перевершили всі системи, засновані на правилах у сфері машинного перекладу. Використовуючи просту стратегію «додати більше шарів», ChatGPT/GPT-4, провідний приклад цієї тенденції, зміг перевершити високорозвинені моделі, створені комп’ютерними лінгвістами.
Суть «гіркого уроку» Саттона полягає в тому, що обчислювальні методи, які не змінюються людською інтуїцією, часто перевершують інші підходи з точки зору продуктивності. Однак це розуміння не набуло широкого визнання. Багато дослідників досі дотримуються складних стратегій, заснованих на інтуїції, часто ігноруючи потенціал інклюзивних підходів, заснованих на розрахунках.
П'ять причин чому GPT перемогла над ручними обчислювальними техніками:
- масштабованість: Обчислювальні методи, особливо якщо їх доповнити більшою кількістю даних, мають потенціал для розвитку та адаптації з розвитком технологій, що робить їх більш перспективними.
- Ефективність: Загальні методи, засновані на обчисленнях і даних, незмінно перевершують спеціалізовані методи, засновані на людській інтуїції, у різних областях, від таких ігор, як шахи та Go, до машинного перекладу та комп’ютерного зору.
- Широке застосування: Ці загальні методи, керовані обчисленнями, є універсальними та можуть застосовуватися в різних дисциплінах без потреби в налаштуваннях, що стосуються конкретної області.
- Простота: Системи, побудовані на raw обчислювальна потужність і дані, як правило, є простішим у своєму підході, без необхідності складних коригувань на основі людської інтуїції.
- Послідовна продуктивність: Як показано на таких прикладах, як ChatGPT/GPT-4, моделі на основі обчислень можуть досягти незмінно високої продуктивності, часто перевершуючи спеціалізовані методи.
Оригінальне есе є безцінним інструментом для кращого розуміння точки зору професора Саттона та принципів, якими керується траєкторія ШІ.
Статтю надихнув телеграм-канал «Знову Борис."
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
