研究者が AI によって生成されたテキストを検出する新しい方法を発見
簡単に言えば
研究者らは、RoBERTa モデルを使用して AI 生成テキストを検出する方法を開発しました。これは、テキスト トークンの埋め込みを抽出し、それらを多次元空間内の点として視覚化します。
彼らは、テキストが次によって生成されたことを発見しました。 GPT-3.5モデルなど ChatGPT と Davinci は、人間が書いたテキストよりも平均寸法が大幅に低かった。
研究者らは、一般的な回避手法に耐性のある堅牢な次元ベースの検出器を作成しました。
ドメインとモデルが変更された場合でも、検出器の精度は一貫して高いままでしたが、しきい値は固定されており、DIPPER 手法でチャレンジすると精度が 40% 低下しました。
研究者たちは、AI によって生成されたテキストとその分野を調査してきました。 AIが生成したコンテンツを検出する手法を開発 などのモデル GPT および Llama。 彼らは、分数次元の概念を利用することで、生成されたテキストの性質について興味深い洞察を発見しました。 彼らの発見は、人間が書いたテキストと AI モデルによって生成されたテキストの間にある本質的な違いを明らかにしています。
自然言語テキストから派生した点群の寸法から、その起源に関する有用な情報が得られるでしょうか? 研究者らは、RoBERTa モデルを使用してテキスト トークンの埋め込みを抽出し、それらを多次元空間内の点として視覚化してこれを調査しました。 彼らは、以前の研究からインスピレーションを得た高度な技術を使用して、これらの点群の分数次元を推定しました。
研究者たちは、テキストが生成されたことを発見して驚きました。 GPT-3.5モデルなど ChatGPT と Davinci は、人間が書いたテキストよりも平均寸法が大幅に低かった。 この興味深いパターンは、ドメインを超えて存続し、次のような代替モデルが導入された場合でも持続しました。 GPT-2 または OPT が使用されました。 特に、検出を回避するために特別に設計された DIPPER 言い換えを使用した場合でも、寸法は約 3% しか変化しませんでした。 これらの発見により、研究者は一般的な回避手法に耐性のある堅牢な次元ベースの検出器を作成することができました。
特に、ドメインとモデルが変更されても、検出器の精度は一貫して高いままでした。 固定しきい値を使用すると、検出精度 (真陽性率) は 75% 以上を維持する一方、偽陽性率 (FPR) は 1% 未満のままでした。 検出システムに DIPPER 技術を適用した場合でも、精度は 40% に低下し、開発されたものを含む既存の検出器を上回りました。 OpenAI.
さらに研究者らは、多言語 RoBERTa のような多言語モデルの適用を検討しました。 これにより、英語以外の言語でも同様の検出器を開発できるようになりました。 埋め込みの平均内部寸法は言語によって異なりますが、生成されたテキストの寸法は、特定の言語ごとに人間が書いたテキストの寸法よりも一貫して低いままでした。
しかし、この検出器は、特に高い生成温度や原始的な環境に直面した場合に、いくつかの弱点を示しました。 発電機モデル。 高温では、生成されたテキストの内部寸法が人間が書いたテキストの内部寸法を超え、検出器が無効になる可能性があります。 幸いなことに、そのようなジェネレータ モデルは、代替方法を使用してすでに検出可能です。 さらに、研究者らは、RoBERTa を超えてテキスト埋め込みを抽出するための代替モデルを検討する余地があることを認めました。
人間が書いたテキストと AI が書いたテキストの区別
1月に、 OpenAI 発表の 人間が書いたテキストと AI システムによって生成されたテキストを区別するように設計された新しい分類器の発表。 この分類子は、誤った情報キャンペーンや学術的不正など、AI によって生成されたコンテンツの蔓延によってもたらされる課題に対処することを目的としています。
AI によって書かれたテキストをすべて検出するのは複雑なタスクですが、この分類子は、AI による虚偽の主張を軽減する貴重なツールとして機能します。 AI が生成したテキストにおける人間の著作物。 一連の英語テキストに対する厳密な評価を通じて、開発者は、その分類器が AI によって書かれたテキストの 26% を「AI によって書かれた可能性がある」(真陽性) と正確に識別する一方、場合によっては人間が書いたテキストを AI によって生成されたものとして誤ってラベル付けされる (偽陽性) ことを発見しました。陽性）9%増加。 入力テキストの長さが長くなると、分類器の信頼性が向上することに注意することが重要です。 以前の分類器と比較して、この新しいバージョンは、より最近の AI システムによって生成されたテキストの信頼性が大幅に高いことを示しています。
この分類器のような不完全なツールの有用性に関する貴重なフィードバックを収集するために、開発者は 公に利用可能。 開発中の分類器を無料で試すことができます。 ただし、その制限を理解することが重要です。 分類子は、テキストの出典を決定するための主要な意思決定リソースではなく、補助ツールとして使用する必要があります。 短いテキストでは信頼性が非常に低く、人間が書いたテキストが AI によって生成されたものとして誤ってラベル付けされる場合があります。
最初の 1,000 個の素数のリストなど、予測可能性の高いテキストは一貫して識別できないことに注意してください。 AI が生成したテキストを編集することも分類器を回避するのに役立ちます。攻撃の成功に基づいて分類器を更新して再トレーニングすることはできますが、検出による長期的な利点は依然として不確実です。 さらに、次の分類子に基づいて ニューラルネットワーク 多くの場合、トレーニング データ以外では適切に調整されていないため、トレーニング セットとは大幅に異なる入力に対する不正確な予測が非常に信頼されます。
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
