専門家、AI データセットへの「悪意のある挿入」に警告 ChatGPT
簡単に言えば
ChatGPT 潜在的に 脆弱な トレーニングデータのせいです。
研究者らによると、米国ではわずか 60 ドルで、0.01 年に LAION-400 または COYO-700 データセットの 2022% を汚染できる可能性があります。
ChatGPT テクノロジーの普及はますます進んでいますが、最近では 研究 は、このテクノロジーが使用するトレーニング データが原因で脆弱である可能性があることを示唆しています。 モデルがより複雑になり、データセットがますます大規模になり、悪意のある攻撃者がこの脆弱性を悪用してデータセットを操作し、機械学習モデルが不正確な結果を生成する可能性があります。
主な懸念は、チャットボット データベースが多くの場合「条件付きで検証された」データ セットであることです。これは、広範な検証を行わずにデータに一定レベルの信頼が置かれていることを意味します。 言い換えれば、これらのデータセットには、考慮されていない根本的な問題が存在することがよくあります。 データセットのサイズが大きいため検証が実行されないことがよくありますが、悪意のある攻撃者がこのデータを操作する可能性があります。
実際、研究者らは、2022 年までに攻撃者が推定 60 ドルを費やして LAION-0.01 または COYO-400 データセットの 700% を汚染する可能性があると示唆しています。 これは大したことではないように思えますが、チェックしないままにしておくと、悪意のある攻撃者がこの汚染されたデータを自分たちの利益のために使用する可能性があります。 悪意のあるデータは、最終的には 漏れ より大きなデータセットに分割すると、データ品質が低下し、信頼性の低い機械学習モデルが生成されます。
悪意のあるデータからデータベースを保護するための措置を講じる必要があります。 複数のデータソースを集約することがチャットボットの標準になるはずです トレーニングデータセット データの信頼性と正確性を確保するため。 さらに、企業はデータセットを実験して、悪意のある攻撃者に対して脆弱でないことを確認する必要があります。
悪意のあるコードを使用した AI チャットボットはハッキングに対して脆弱になる可能性がある
チャットボット内の悪意のあるコードの脅威は非常に深刻になる可能性があります。 悪意のあるコードは、ユーザー データを盗んだり、サーバーへの悪意のあるアクセスを可能にしたり、次のような悪意のある活動を可能にしたりするために使用される可能性があります。 マネーローンダリング またはデータの引き出し。 AI チャットボットが悪意のある挿入を含むデータでトレーニングされている場合、無意識のうちに応答に悪意のあるコードが挿入され、知らないうちに悪意のある利益を得るツールとして使用される可能性があります。
悪意のある攻撃者が意図的または不注意で悪意のあるコードをシステムに導入することにより、この脆弱性を悪用する可能性があります。 トレーニングデータ。 さらに、AI チャットボットは提示されたデータから学習するため、誤った応答や悪意のある動作を学習する可能性もあります。
AI チャットボットが直面する可能性のあるもう XNUMX つの危険は、「過剰学習」です。 これは、予測モデルが与えられたデータに基づいてトレーニングされすぎているため、新しいデータが提示されたときに予測が不十分になる場合です。 これは特に問題となる可能性があります。 AIチャットボット 悪意のあるコードについてトレーニングされたユーザーは、データに精通するにつれて、応答に悪意のあるコードをより効果的に挿入できるようになる可能性があります。
リスクを認識し、教育に使用されるトレーニング データを保証するための予防策を講じることが不可欠です。 ChatGPT 安全性と信頼性が高く、これらの潜在的な弱点を防ぐことができます。 トレーニングに使用される初期データも、個別かつ一意に保つ必要があります。 「悪意のある挿入」の宣伝は、他の情報源と競合したり重複したりしてはなりません。 データを検証するために複数の確認済みドメインを「キャプチャ」することが可能かどうかを調べて、他のドメインと比較する必要があります。
チャットボット技術は、人々が人間としての議論を行う方法を変えることを約束します。 しかし、その可能性を最大限に発揮するには、その前に改善し、保護する必要があります。 チャットボットのデータセットは十分にチェックされ、悪意のある攻撃者を防ぐ準備ができている必要があります。 これにより、テクノロジーの可能性を最大限に活用し、 制限 人工知能の。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
