Microsoft заставила студентов-магистрантов забыть о Гарри Поттере
Microsoft раскрыла метод для указания моделям большого языка (LLM) забывать конкретную информацию в своих наборах данных без необходимости полной реконструкции обучающих данных. Этот метод открывает новые возможности для улучшения LLM и потенциального решения юридических проблем, связанных с контентом, защищенным авторским правом.
Команда Microsoft недавно продемонстрировала, как им удалось сделать Llama-2 модель забывает детали книг о Гарри Поттере, не затрагивая при этом другие данные в обучающих данных модели или общую производительность модели в исследовании, описанном на странице их исследовательского проекта.
Процесс начинается с идентификации конкретной информации в наборе данных модели, которую необходимо забыть. В данном случае это были детали культового сериала Джоан Роулинг, включая особенности сюжета, имена персонажей и знаменитые цитаты. Затем их систематически заменяли общими, несвязанными между собой фразами.
Затем исследователи использовали языковую модель для генерации новой информации на основе этих общих данных. Эти свежие данные затем использовались для повторного обучения исходных данных. Llama-2 модель постепенно. С каждым шагом модель дистанцировалась от книг о Гарри Поттере, пока не начала вызывать галлюцинации, когда ее спрашивали о них.
Одной из поразительных особенностей этого подхода является то, что он не ставит под угрозу общую производительность модели. Это означает, что, хотя LLM все больше забывает о конкретных данных, его общие языковые возможности остаются неизменными.
Несмотря на то, что этот подход все еще совершенствуется, его последствия весьма разнообразны. В частности, в ситуациях, связанных с судебными претензиями и проблемами авторского права, это может стать спасательным кругом для тех, кто создает LLM и другие модели ИИ.
Это нововведение появилось в то время, когда растут юридические споры по поводу использования контента, защищенного авторским правом, в моделях ИИ. Например, Газета New York Times недавно потребовала удаления своих публикаций из GPT-4 набор данных. В случае успешного Юридический вызовразработчикам обычно приходится реконструировать наборы данных своих моделей, а это трудоемкий и ресурсоемкий процесс. Метод Microsoft, если его доработать и принять, может обеспечить эффективное решение таких проблем.
Метод Microsoft выборочного забывания определенной информации в моделях большого языка (LLM) — это значительный прорыв в разработке искусственного интеллекта, потенциально решающий проблемы с контентом, защищенным авторским правом, и оптимизирующий доработку. Этот подход можно применить к различным областям, демонстрируя ответственную разработку и применение ИИ.
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
