Изследователите оспорват идеята за „възникващи способности“ на големите езикови модели
Накратко
Апокалипсисът на AGI е повод за безпокойство поради феномена на големите езикови модели внезапно демонстриране на способности че по-малките модели изглежда нямат.
Това явление се нарича „възникващи способности на големите езикови модели“.
Авторите на статията „Мираж ли са новите способности на големите езикови модели?“ твърдят, че ефектът от възникващите способности не е мираж, а по-скоро предсказуем растеж в способността за изпълнение на задачи.
Те показват, че най-малко 92% от проблемите на Big Bench нямат внезапен пробив за големите модели и качеството на техните модели нараства плавно и предвидимо с увеличаването на размера на моделите.
В скорошно изследване на потенциалните възможности на големите езикови модели, изследователите оспорват понятието „нововъзникващи способности“ и хвърлят светлина върху по-предвидим аспект на тяхната функционалност. Статията, озаглавена „Разкриване на реалностите на новите способности на големите езикови модели” обръща внимание на погрешното тълкуване на показателите, което е довело до погрешното схващане, че тези модели спонтанно придобиват напреднали умения.
Концепцията за „възникващи способности” в контекста на големи езикови модели, като например GPT серия, подхрани опасения относно потенциала на тези модели да развият непредвидени способности, подобни на човешкото съзнание. Този документ твърди, че тези предположения се основават на погрешно разбиране на действителното поведение и възможности на моделите.
Често наблюдаваният феномен, при който по-големите модели привидно придобиват новооткрити способности като абстрактно разсъждение, решаване на проблеми и дори хумор, е измислен като „възникващи способности на големите езикови модели“. Авторите на статията твърдят, че тези способности не са толкова спонтанни, колкото изглеждат, а по-скоро резултат от подвеждащи показатели за оценка.
За да илюстрират гледната си точка, изследователите разглеждат задачата за „познаване на гатанката“, проблем, при който езиковият модел трябва да разбере гатанка на естествен език и да отговори с правилния отговор на естествен език. Традиционно качеството на отговорите се оценява с помощта на двоична метрика: на отговор се присвоява резултат 1, ако съвпада точно с правилния отговор, и резултат 0 в противен случай.
Същината на въпроса се крие в чувствителността на показателя към сложността на задачата и броя на параметрите на модела. Изследователите разкриват, че тази двоична метрика води до a измамно възприятие на „възникващи способности“. По-малките модели често показват незначителна точност (eps) на този показател, докато по-големите модели, особено тези с голям брой параметри, изглежда постигат забележителни нива на точност (acc > 0.5).
Статията твърди, че тази очевидна промяна в способностите не е показателна за модели, които спонтанно придобиват сложни умения. Вместо това капацитетът на моделите да разбират и генерират по-нюансирани отговори произтича от по-щателна оценка на техните резултати. Чрез фокусирането върху вероятностното съвпадение и семантичната кохерентност, а не върху точните съвпадения на низове, изследователите показват, че прогресия на моделите в изпълнение следва по-логична траектория, независимо от техния размер.
Изследване на развитието на производителността на модела с променящи се параметри
В аналитично разследване изследователите разкриват фината механика зад възприеманите „възникващи способности“ на големи езикови модели. Проучването поставя под въпрос влиянието на супердискретните показатели при оценката на производителността на модела и изяснява по-предсказуемо разбиране на техните възможности, когато параметрите на модела се разширяват.
Преобладаващата представа за „нововъзникващи способности“ в експанзивни езикови модели завладя дискусии и повдигна опасения относно потенциални пробиви. Това проучване се стреми да разплита механиката, която стои в основата на това явление, и да дешифрира дали тези модели наистина проявяват внезапни, безпрецедентни способности или тези възприемани подобрения могат да бъдат приписани на различна причина.
В основата на изследването лежи щателна оценка на показателите, използвани за измерване на ефективността на модела. Изследователите твърдят, че използването на супердискретни метрики, особено конвенционалната двоична метрика, която определя точните съвпадения на низове, може да изкриви интерпретацията на големи способности за езиков модел. Проучването щателно анализира как вероятностното разпределение на генерираните от модел отговори се развива като мащаб на параметрите на модела.
Противно на идеята за „нововъзникващи способности“, проучването разкрива по-систематична тенденция. С увеличаването на размера на модела се подобрява способността му да присвоява по-високи вероятности на подходящи отговори и по-ниски вероятности на неправилни. Това отразява последователно подобрение в способността на модела да решава умело проблеми в широк диапазон от размери. По същество изследването предполага, че процесът на обучение на моделите следва добреdefiнед траектория на подобрение, а не внезапен скок.
Авторите въвеждат промяна на парадигмата, като предлагат замяната на дискретни метрики с непрекъснати. Тази промяна предлага по-ясна картина на развитието на производителността. Чрез своя анализ изследователите установяват, че приблизително 92% от Проблеми с голяма пейка демонстрират плавен и предвидим ръст на качеството с увеличаване на размера на модела. Това откритие оспорва идеята, че по-големите модели преживяват внезапни пробиви и вместо това подчертава по-постепенно и очаквано развитие.
Проучването разширява своите прозрения, за да потвърди своите твърдения. Той демонстрира, че същият ефект на „възникваща способност“ може да бъде изкуствено симулиран с помощта на конвенционални автокодери, което предполага, че изборът на показатели значително влияе върху възприеманите резултати. Това разкритие разширява обхвата на последиците от изследването, демонстрирайки неговата уместност отвъд само езиковите модели.
Изследователите подчертават, че техните резултати не defiнитивно отричат потенциала за „възникващи способности“ или съзнание в големи езикови модели. Техните констатации обаче насърчават изследователите да подходят към подобни твърдения с нюансирана перспектива. Вместо прибързано екстраполиране и формиране на крайни заключения, проучването подчертава важността на щателното разследване и цялостен анализ.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
