Сучасні великі мовні моделі будуть маленькими моделями, вважає дослідник з OpenAI
Хен Вон Чун, досвідчений дослідник штучного інтелекту, який раніше працював у Google Brain і зараз є членом OpenAI команди, виступив із 45-хвилинною промовою, яка спонукала до роздумів, у якій він дослідив світ великих мовних моделей у 2023 році. Чунг має досвід у цій галузі; він був першим автором статті Google "Моделі мови, налаштовані на інструкції масштабування,», яка досліджує, як великі мовні моделі можна навчити виконувати інструкції.
Чунг підкреслює, що світ розширених мовних моделей є динамічним. У світі LLM керівний принцип постійно розвивається, на відміну від традиційних галузей, де фундаментальні припущення зазвичай залишаються стабільними. З майбутнім поколінням моделей те, що зараз вважається неможливим або непрактичним, може стати можливим. Він наголошує на важливості початку більшості тверджень щодо можливостей LLM словами «на даний момент». Модель може виконувати завдання; просто це ще не зроблено.
Сучасні великі моделі за кілька років стануть маленькими моделями
Хюнг Вон Чунг, OpenAI
Потреба в ретельному документуванні та відтворюваності в Дослідження ШІ є одним із найважливіших уроків, які можна винести з промови Чунга. Дуже важливо ретельно документувати поточну роботу в міру розвитку галузі. Ця стратегія гарантує, що експерименти можна швидко відтворити та переглянути, дозволяючи дослідникам спиратися на попередні роботи. Завдяки цій практиці визнається, що в майбутньому можуть розвинутися можливості, які не були практичними під час початкових досліджень.
Частину свого виступу Чанг присвячує роз’ясненню тонкощів даних і паралелізму моделей. Для тих, хто хоче глибше заглибитися в технічні аспекти штучного інтелекту, цей розділ містить цінну інформацію про внутрішню роботу цих методів паралелізму. Розуміння цих механізмів має вирішальне значення для оптимізації масштабна модельна підготовка.
Чунг стверджує, що нинішня цільова функція, максимальна ймовірність, яка використовується для попереднього навчання LLM, є вузьким місцем, коли справа доходить до досягнення справді величезних масштабів, наприклад, у 10,000 XNUMX разів більше можливостей GPT-4. У міру розвитку машинного навчання функції втрат, розроблені вручну, стають все більш обмеженими.
Чунг припускає, що наступна парадигма розробки штучного інтелекту передбачає навчання функцій за допомогою окремих алгоритмів. Цей підхід, хоч і знаходиться в зародковому стані, обіцяє масштабованість за межі поточних обмежень. Він також підкреслює поточні зусилля, такі як підкріплення навчання на основі зворотного зв’язку людини (RLHF) із моделюванням правил, як кроки в цьому напрямку, хоча проблеми ще потрібно подолати.
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
