XLM-V: 語彙のボトルネックの問題に対処しようとする多言語マスク言語モデルの新しい方法
簡単に言えば
この記事では次の問題が提起されています。 言語モデル パラメータが増加し、深みが増しますが、語彙のサイズは同じです。
研究者は、予想外の方法で語彙から 1 万個のトークンを使用して新しいモデルのトレーニングを開始します。
研究者たちは、トークンを大幅に増やすことで、どのような改善ができるかを確認しようと決心しました。
によって提起された問題 記事 「XLM-V: 多言語のマスクされた言語モデルにおける語彙のボトルネックを克服する」というタイトルの研究では、言語モデルのパラメーターと深さが増加しても、語彙のサイズは変わらないことが示されています。 たとえば、mT5 モデルには 13 億のパラメーターがありますが、250 を超える言語をサポートする 100 万語の語彙があります。 したがって、各言語には約 2,500 の一意のトークンがあり、これは明らかに非常に少ない数です。
著者はどのような行動をとりますか？ 彼らは、予想外の方法で、語彙から 1 万個のトークンを使用して新しいモデルのトレーニングを開始します。 以前は XLM-R がありましたが、今回のアップグレードで XLM-V になります。 ライターは、トークンを大幅に増やすことで、どのような改善ができるかを確認することを決意しました。
XLM-R にはなかった XLM-V の新機能について教えてください。
改善 多言語モデル with Language-Clustered Vocabularies メソッドは、次のように各言語の字句表現ベクトルを構築するために使用されます。言語セット内の各言語について、それらはバイナリ ベクトルを構成し、その各要素はその言語の特定の単語です。 XNUMX つは、その単語がその言語の辞書に含まれていることを示します (添付ファイルのグラフィック説明付きの画像を表示できます)。ただし、各語彙素の発生の負の対数確率を利用してベクトルを作成することにより、著者は参照方法を強化します。 .
- その後、ベクトルはグループ化されます。 さらに、特定のクラスターごとにセンテンスピース モデルがトレーニングされ、語彙的に関連のない言語間で語彙が移動するのを防ぎます。
- ALP は、特定の言語を表す辞書の能力を評価します。
- 作成アルゴリズムの活用 ULM 辞書は次のステップです。 これは、大きな初期辞書から始まり、トークンの数が辞書サイズの特定のしきい値を下回るまで、段階的に削減します。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
