Деменція штучного інтелекту: проблеми контенту, створеного моделлю, та його вплив на системи ШІ
Коротко
Дослідники виявили феномен модельної деменції, який відноситься до незворотних дефектів, які виникають у моделей, коли зникають хвости початкового розподілу вмісту.
Щоб зберегти переваги моделей навчання на Інтернет-даних, необхідно знайти рішення, щоб зменшити потенційну втрату розповсюдження оригінального вмісту.
Швидкий розвиток технологій AI призвів до неймовірних досягнень у обробці природної мови та створенні зображень. Такі великі мовні моделі (LLM). GPT-2, GPT-3 (.5) і GPT-4 продемонстрували надзвичайну продуктивність у різних мовних завданнях, тоді як такі моделі, як ChatGPT представили ці мовні можливості широкому загалу. Однак, оскільки магістратури стають все більш поширеними та роблять значний внесок у мову, знайдену в Інтернеті, дослідники виявили тривожну проблему, відому як «модельна деменція».
| Рекомендується: OpenAI: штучний інтелект потенційно може завдати багато шкоди людям, але намагатися зупинити прогрес – це не варіант |
У нещодавній статті дослідники пролили світло на феномен модельної деменції, який відноситься до незворотних дефектів, які виникають у моделях, коли зникають хвости початкового розподілу вмісту. Дослідження показує, що використання згенерованого моделлю контенту під час навчання може призвести до цього когнітивне зниження в отриманих моделях. Цей ефект спостерігався у варіаційних автокодерах (VAE), моделях суміші Гауса (GMM) і LLM. Висновки підкреслюють необхідність вирішення цієї проблеми, щоб зберегти переваги навчальні моделі на великих даних, отриманих з Інтернету.
Дослідники надають теоретичне розуміння модельної деменції та демонструють її поширеність у різних генеративні моделі. Вони стверджують, що це явище потрібно сприймати серйозно, щоб забезпечити подальшу ефективність моделей навчання на екстенсивному рівні. веб-дані. Оскільки магістратури дедалі більше сприяють створенню мови та вмісту, доступного в Інтернеті, цінність даних зростає зібрані зі справжньої людської взаємодії з системами стає ще більш критичним.
введення stable diffusion, техніка, яка зробила революцію у створенні зображень описовий текст, є ще одним прикладом впливу LLM на створення контенту. Проте дослідження показує, що використання контенту, створеного моделлю, може спричинити втрату розповсюдження кінцевого вмісту, потенційно підриваючи різноманітність і насиченість вихідних даних.
Хоча великомасштабні дані, зібрані з Інтернету, дають цінну інформацію про взаємодію людини з системами, наявність контент, створений LLMs, представляє нові виклики. Дослідники наголошують на необхідності вирішення проблеми деменції моделі та пошуку рішень, які зберігають переваги моделей навчання на даних Інтернету, одночасно зменшуючи потенційну втрату розповсюдження оригінального вмісту.
Оскільки галузь штучного інтелекту продовжує розвиватися, дослідникам, розробникам і політикам вкрай важливо знати про обмеження та проблеми, пов’язані з моделями навчання на створеному моделлю контенті. Розуміючи та вирішуючи проблеми, такі як модельна деменція, ми можемо забезпечити відповідальне та ефективне використання технологій ШІ в майбутньому.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
