Сегодняшние большие языковые модели будут маленькими моделями, по мнению исследователя из OpenAI
Хён Вон Чунг, опытный исследователь искусственного интеллекта, ранее работавший в Google Brain, а в настоящее время являющийся членом OpenAI команда выступила с заставляющей задуматься 45-минутной речью, в которой он исследовал мир больших языковых моделей в 2023 году. Чанг имеет опыт работы в этой области; он был первым автором статьи Google»Масштабирование языковых моделей с точной настройкой инструкций,», в котором исследуется, как можно обучить большие языковые модели следовать инструкциям.
Чанг подчеркивает, что мир обширных языковых моделей динамичен. В мире LLM руководящий принцип постоянно развивается, в отличие от традиционных областей, где фундаментальные предположения обычно остаются стабильными. С будущим поколением моделей то, что сейчас считается невозможным или непрактичным, может стать возможным. Он подчеркивает важность предварения большинства заявлений о возможностях LLM словами «на данный момент». Модель может выполнять задачу; просто этого еще не произошло.
Большие модели сегодняшнего дня станут маленькими моделями всего через несколько лет.
Хён Вон Чон, OpenAI
Необходимость тщательного документирования и воспроизводимости результатов. Исследования ИИ – это один из самых важных уроков, которые можно извлечь из речи Чанга. Крайне важно тщательно документировать текущую работу по мере развития области. Эта стратегия гарантирует, что эксперименты можно будет быстро воспроизвести и пересмотреть, что позволяет исследователям опираться на более раннюю работу. Благодаря этой практике признается, что в будущем могут развиться возможности, которые не были практичными во время первоначальных исследований.
Чанг посвящает часть своего выступления разъяснению тонкостей параллелизма данных и моделей. Для тех, кто заинтересован в более глубоком изучении технических аспектов ИИ, этот раздел предоставляет ценную информацию о внутренней работе этих методов параллелизма. Понимание этих механизмов имеет решающее значение для оптимизации крупномасштабное обучение моделей.
Чанг утверждает, что текущая целевая функция «Максимальное правдоподобие», используемая для предварительного обучения LLM, является узким местом, когда речь идет о достижении действительно огромных масштабов, например, в 10,000 XNUMX раз превышающих мощность GPT-4. По мере развития машинного обучения функции потерь, создаваемые вручную, становятся все более ограничивающими.
Чанг предполагает, что следующая парадигма разработки ИИ предполагает обучение функций с помощью отдельных алгоритмов. Этот подход, хотя и находится в зачаточном состоянии, обещает масштабируемость за пределами текущих ограничений. Он также выделяет текущие усилия, такие как обучение с подкреплением на основе обратной связи с человеком (RLHF) с моделированием правил, как шаги в этом направлении, хотя проблемы еще предстоит преодолеть.
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
