Microsoft принуди LLMs да забравят за Хари Потър
Microsoft разкри метод за инструктиране на големите езикови модели (LLM) да забравят конкретна информация в своите набори от данни, без да се изисква пълна реконструкция на данните за обучение. Този метод отваря нови възможности за подобряване на LLM и потенциално разрешаване на правни проблеми, включващи защитено с авторски права съдържание.
Екипът на Microsoft наскоро демонстрира как са успели да направят Llama-2 моделът забравя подробностите от книгите за Хари Потър, без да засяга други данни в данните за обучение на модела или цялостното представяне на модела в проучване, описано на страницата на техния изследователски проект.
Процесът започва с идентифицирането на конкретна информация в набора от данни на модела, която трябва да бъде забравена. В този случай това бяха подробности, свързани с емблематичната поредица на Дж. К. Роулинг, включително подробности за сюжета, имена на герои и известни цитати. След това те бяха систематично заменени с общи, несвързани фрази.
След това изследователите използваха езиков модел, за да генерират нова информация въз основа на тези общи данни. След това тези свежи данни бяха използвани за повторно обучение на оригинала Llama-2 модел постепенно. С всяка стъпка моделът се дистанцира от книгите за Хари Потър, докато не започна да дава халюцинаторни отговори, когато го разпитваха за тях.
Една забележителна характеристика на този подход е, че той не компрометира общата производителност на модела. Това означава, че докато LLM все повече забравя за конкретни данни, цялостните му езикови възможности остават непокътнати.
Въпреки факта, че този подход все още се усъвършенства, неговите последици са широкообхватни. В ситуации, включващи правни претенции и проблеми с авторските права, по-специално, това може да осигури спасителен пояс за тези, които създават LLM и други модели на ИИ.
Тази иновация идва в момент, когато правните спорове относно използването на защитено с авторски права съдържание в AI модели нарастват. Например, New York Times наскоро поиска отстраняването на своите публикации от GPT-4 набор от данни. В случай на успешен оспорване, разработчиците обикновено трябва да реконструират наборите от данни на своите модели, процес, който отнема много време и ресурси. Методът на Microsoft, ако бъде допълнително усъвършенстван и възприет, може да осигури ефективно решение на подобни предизвикателства.
Методът на Microsoft за селективно забравяне на специфична информация в рамките на големи езикови модели (LLM) е значителен пробив в разработката на AI, който потенциално се справя с проблеми със защитено с авторски права съдържание и рационализира усъвършенстването. Този подход може да се приложи към различни области, демонстрирайки отговорно разработване и приложение на AI.
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
