Microsoft、LLMにハリー・ポッターのことを忘れるよう強制

by ダミル・ヤラロフ

公開日: 10 年 2023 月 4 日 25:10 更新日: 2023 年 4 月 25 日 XNUMX:XNUMX

by ダニル・ミャキン

編集および事実確認: 10 年 2023 月 4 日午前 25 時 XNUMX 分

Microsoft、LLMにハリー・ポッターのことを忘れるよう強制 — 出典: Dall-E 3

マイクロソフトがその方法を明らかにしたトレーニングデータの完全な再構築を必要とせずに、大規模言語モデル (LLM) にデータセット内の特定の情報を忘れるように指示します。この方法は、LLM を改善し、著作権で保護されたコンテンツに関連する法的問題を解決する可能性があるという新たな可能性を開きます。

Microsoft のチームは最近、どのようにして Llama-2 モデルは、モデルのトレーニングデータ内の他のデータや、研究プロジェクトページに記載されている研究におけるモデルの全体的なパフォーマンスに影響を与えることなく、ハリーポッターの本の詳細を忘れます。

このプロセスは、モデルのデータセット内で忘れるべき特定の情報を特定することから始まります。この場合、プロットの詳細、キャラクター名、有名な引用など、JK ローリングの象徴的なシリーズに関連する詳細でした。これらはその後、系統的に一般的な無関係なフレーズに置き換えられました。

次に研究者らは、言語モデルを使用して、この一般的なデータに基づいて新しい情報を生成しました。この新しいデータは、元のデータを再トレーニングするために使用されました。 Llama-2モデル段階的に。ステップが進むごとに、モデルはハリー・ポッターの本から距離を置き、ついにはハリー・ポッターの本について質問されると幻覚反応を示し始めました。

このアプローチの顕著な特徴の XNUMX つは、モデルの一般的なパフォーマンスを損なわないことです。これは、LLM が特定のデータについてますます忘れるようになっても、その全体的な言語機能はそのままであることを意味します。

このアプローチはまだ改良中であるという事実にもかかわらず、その影響は広範囲に及びます。特に、法的請求や著作権問題が関係する状況では、LLM やその他の AI モデルを作成する人にとって命綱となる可能性があります。

このイノベーションは、AI モデルでの著作権で保護されたコンテンツの使用をめぐる法的紛争が増加しているときにもたらされました。例えば、ニューヨーク・タイムズは最近、削除を要求したからの出版物の GPT-4 データセット。成功した場合法的な挑戦の場合、開発者は通常、モデルデータセットを再構築する必要がありますが、これは時間とリソースを大量に消費するプロセスです。 Microsoft の手法がさらに洗練されて採用されれば、このような課題に対する効率的な解決策が提供される可能性があります。

大規模言語モデル内の特定の情報を選択的に忘れる Microsoft の方法 (LLM）は AI 開発における重要な進歩であり、著作権で保護されたコンテンツの問題に対処し、改良を合理化する可能性があります。このアプローチはさまざまな領域に適用でき、責任ある AI の開発と応用を実証できます。

タグ：

免責事項

に沿ってトラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポートページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。

著者について

Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。

より多くの記事

ダミル・ヤラロフ