Исследователи бросают вызов понятию «новых способностей» больших языковых моделей
Коротко
Апокалипсис AGI вызывает беспокойство из-за внезапного появления больших языковых моделей. демонстрация способностей чего у меньших моделей, похоже, нет.
Это явление называется «новые возможности больших языковых моделей».
Авторы статьи «Являются ли эмерджентные способности больших языковых моделей миражом?» утверждают, что эффект появления способностей — это не мираж, а скорее предсказуемый рост способности выполнять задачи.
Они показывают, что по крайней мере 92% задач Big Bench не приводят к внезапному прорыву для больших моделей, а качество их моделей растет плавно и предсказуемо по мере увеличения размера моделей.
В недавнем исследовании потенциальных возможностей больших языковых моделей исследователи бросили вызов понятию «новые способности» и пролили свет на более предсказуемый аспект их функциональности. Статья под названием «Раскрытие реалий новых возможностей больших языковых моделейобращает внимание на неправильное толкование показателей, которое привело к ошибочному представлению о том, что эти модели спонтанно приобретают продвинутые навыки.
Концепция чего-либо "новые способностив контексте больших языковых моделей, таких как GPT серии, вызвало опасения относительно возможности развития у этих моделей непредвиденных способностей, подобных человеческому сознанию. В этой статье утверждается, что эти предположения были основаны на ошибочном понимании фактического поведения и возможностей моделей.
Обычно наблюдаемый феномен, когда более крупные модели приобретают новые способности, такие как абстрактное мышление, решение проблем и даже юмор, получил название «новые способности больших языковых моделей». Авторы статьи утверждают, что эти способности не так спонтанны, как кажутся, а скорее являются результатом вводящих в заблуждение показателей оценки.
Чтобы проиллюстрировать свою точку зрения, исследователи рассматривают задачу «отгадать загадку» — задачу, в которой языковая модель должна понять загадку на естественном языке и дать правильный ответ на естественном языке. Традиционно качество ответов оценивается с помощью двоичной метрики: ответу присваивается балл 1, если он точно соответствует правильному ответу, и балл 0 в противном случае.
Суть дела заключается в чувствительности метрики к сложности задачи и количеству параметров модели. Исследователи показывают, что эта бинарная метрика приводит к обманчивое восприятие «новых способностей». Меньшие модели часто демонстрируют незначительную точность (eps) по этому показателю, в то время как более крупные модели, особенно с большим количеством параметров, достигают замечательных уровней точности (acc > 0.5).
В статье утверждается, что этот очевидный сдвиг в способностях не свидетельствует о спонтанном приобретении моделями сложных навыков. Вместо этого способность моделей понимать и генерировать более тонкие ответы обусловлена более тщательной оценкой их результатов. Сосредоточив внимание на вероятностном сопоставлении и семантической связности, а не на точном совпадении строк, исследователи показывают, что прогресс моделей производительность следует более логичной траектории, независимо от их размера.
| Похожие страницы:: Эволюция чат-ботов эпохи Т9 и GPT-1 в ChatGPT |
Исследование эволюции производительности модели при изменении параметров
В ходе аналитического исследования исследователи раскрывают тонкую механику предполагаемых «новых способностей» людей. большие языковые модели. Исследование ставит под сомнение влияние супердискретных метрик на оценку производительности модели и дает более прогнозирующее понимание их возможностей по мере расширения параметров модели.
Преобладающая идея «новых способностей» в обширных языковых моделях вызвала дискуссии и вызвала опасения по поводу потенциальных прорывов. Целью данного исследования является распутать механику, лежащую в основе этого явления, и выяснить, действительно ли эти модели демонстрируют неожиданные, беспрецедентные возможности или же эти предполагаемые достижения можно объяснить другой причиной.
В основе исследования лежит тщательная оценка показателей, используемых для оценки эффективности модели. Исследователи утверждают, что использование супердискретных метрик, особенно обычных двоичных метрик, определяющих точные совпадения строк, может исказить интерпретацию больших значений. способности языковой модели. В исследовании тщательно анализируется, как меняется распределение вероятностей ответов, сгенерированных моделью, по мере масштабирования параметров модели.
В отличие от понятия «новые способности», исследование обнаруживает более систематическую тенденцию. По мере увеличения размера модели улучшается ее способность назначать более высокие вероятности правильным ответам и более низкие вероятности неправильным. Это отражает последовательное улучшение способности модели умело решать проблемы в широком диапазоне размеров. По сути, исследование предполагает, что процесс обучения моделей следует четкому алгоритму.defiне резкий скачок, а траектория улучшения.
Авторы вносят смену парадигмы, предлагая замену дискретных метрик непрерывными. Это изменение дает более четкую картину эволюции производительности. В ходе своего анализа исследователи установили, что примерно 92% Проблемы с Большой скамейкой демонстрируют плавный и предсказуемый рост качества по мере увеличения размера модели. Это открытие бросает вызов представлению о том, что более крупные модели совершают внезапные прорывы, и вместо этого подчеркивает более постепенный и ожидаемый прогресс.
Исследование расширяет свои знания, чтобы подтвердить свои утверждения. Оно демонстрирует, что тот же эффект «новых способностей» можно искусственно смоделировать с помощью обычных автоэнкодеров, что позволяет предположить, что выбор показателей существенно влияет на воспринимаемые результаты. Это открытие расширяет сферу применения исследования, демонстрируя его актуальность за пределами только языковых моделей.
Исследователи подчеркивают, что их результаты не defiни в коем случае не сводят на нет потенциал «новых способностей» или сознания в больших языковых моделях. Тем не менее, их результаты побуждают исследователей подходить к таким утверждениям с более детальной точки зрения. Вместо того, чтобы поспешно экстраполировать и формировать крайние выводы, исследование подчеркивает важность тщательного расследования и всестороннего анализа.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
