Горький урок: почему ChatGPT Победа над ручными вычислительными методами
Коротко
Эссе профессора Рича Саттона 2019 года «Горький урок» предсказывает значительные достижения в области ИИ, такие как ChatGPT/GPT-4 и OpenAIметодологии.
В тексте подчеркивается смена парадигмы в ИИ, когда вычислительные методы доминируют над производительностью без участия человеческой интуиции.
Однако многие исследователи продолжают применять подходы, основанные на интуиции, упуская из виду потенциал методов, основанных на расчетах.
Эссе "Горький урок», написанная профессором Ричем Саттоном в 2019 году, с тех пор приобрела важность для экспертов по машинному обучению и людей, заинтересованных в понимании будущего ИИ. Информация, представленная в этом документе, предвидела важные события в области ИИ, в том числе появление ChatGPT/GPT-4 и принятие OpenAIметодологии.
Ядро «Горького урока» исследует смену парадигмы в области ИИ. В прошлом ученые, изучающие ИИ, были склонны думать, что разработка передового ИИ требует замечательного, своеобразного подхода, также известного как «индуктивный уклон». Эта идея намекает на добавление специализированной информации или интуитивное понимание конкретной проблемы, которая затем направляет путь решения машины.
Центральная тема «Горького урока» посвящена изменению парадигмы в изучении искусственного интеллекта. Ранее исследователи, изучающие ИИ, были склонны полагать, что для создания продвинутого ИИ требуется выдающийся, уникальный подход. Это смещение называется «индуктивным смещением». Эта концепция предполагает добавление специальных знаний или интуитивного понимания конкретной проблемы, которые затем определяют путь решения машины.
Но повторяющаяся закономерность стала очевидной. Исследователи неоднократно обнаруживали, что, просто добавляя больше данные и вычислительная мощность, они могут превзойти результаты, полученные с помощью этих кропотливо разработанных методов. Этот паттерн не был специфичен для одной области, но появился в шахматах, го, старкрафте и, вероятно, также в нетхаке. Сверточные нейронные сети, например, работают лучше в области компьютерного зрения, чем ручные методы, такие как ПРОСЕЯТЬ. Интересно отметить, что позже изобретатель SIFT сказал, что если бы нейронные сети существовали, когда он проводил свои исследования, он бы выбрал именно этот курс действий. Подобно этому, LSTM превзошли все системы, основанные на правилах в области машинного перевода. Используя простую стратегию «добавьте больше слоев», ChatGPT/GPT-4, ведущий пример этой тенденции, смог превзойти высокоразвитые модели, созданные компьютерными лингвистами.
Суть «горького урока» Саттона состоит в том, что вычислительные методы, не модифицированные человеческой интуицией, часто превосходят другие подходы с точки зрения производительности. Однако это понимание не получило широкого распространения. Многие исследователи по-прежнему используют сложные стратегии, основанные на интуиции, часто игнорируя потенциал инклюзивных подходов, основанных на расчетах.
Пять причин, почему GPT одержали победу над ручными вычислительными методами:
- Масштабируемость: Вычислительные методы, особенно когда они дополнены большим количеством данных, могут развиваться и адаптироваться по мере развития технологий, что делает их более перспективными.
- Эффективность: общие методы, основанные на расчетах и данных, неизменно превосходят специализированные, основанные на человеческой интуиции методы в различных областях, от таких игр, как шахматы и го, до машинного перевода и компьютерного зрения.
- Широкая применимость: эти общие методы, основанные на вычислениях, универсальны и могут применяться в различных дисциплинах без необходимости внесения изменений в предметную область.
- Простота: Системы, построенные на сыром вычислительная мощность и данные, как правило, имеют более простой подход, без необходимости сложных корректировок, основанных на человеческой интуиции.
- Стабильная производительность: как показано на таких примерах, как ChatGPT/GPT-4Модели, основанные на расчетах, могут обеспечить стабильно высокую производительность, часто превосходящую специализированные методы.
Оригинальное эссе — бесценный инструмент для лучшего понимания точки зрения профессора Саттона и принципов, определяющих эту траекторию развития ИИ.
На создание статьи меня вдохновил Telegram-канал «Борис снова.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
