AI4Bharat が AI モデルのヒンディー語を改善するカスタム LLM である「Airavata」をリリース
簡単に言えば
インドの AI4Bharat は、OpenHathi を微調整して構築された、AI モデルにおけるヒンディー語サポートを改善する LLM 「Airavata」のリリースを発表しました。
インドの高等教育機関 IIT マドラスの AI 研究室 AI4バーラト ヒンディー語向けにチューニングしたモデル「Airavata」を発売。発表によると、このモデルは、支援タスクにより適したものとなるよう、多様なヒンディー語データセットを使用して Sarvam AI の OpenHathi を微調整することによって構築されました。
ヒンディー語はインドで最も話されている言語であり、ネイティブスピーカーの割合は 43% 以上です。
「現在、Airavata はヒンディー語をサポートしていますが、予定されている 22 のインド言語すべてに間もなくこれを拡張する予定です」と AI ラボは述べています。 LinkedInの投稿。のパフォーマンスに注意することが重要です。 大規模な言語モデル (LLM) は、高品質の命令チューニング データセットに依存しています。ただし、ヒンディー語で利用できる多様なデータセットは不足しています。
RedPajama のような事前トレーニング用のデータセットの開発でも大きな進歩が見られました。 Alpaca、UltraChat、Dolly、OpenAssistant、LMSYS-Chat などの命令チューニング。 AlpacaEval、MT-Bench などの評価ベンチマーク。ただし、これらの進歩のほとんどは主に英語に集中しています。
「インド言語のサポートには一部制限があります。これは、これらの言語モデルの事前トレーニング中にデータ フィルターをすり抜けた一部のインド言語データが偶発的に含まれていたことが原因と考えられます。しかし、インド言語のデータ表現、トークナイザーの有効性、およびタスクのパフォーマンスは英語よりも大幅に遅れています。」AI4Bharat Labs 声明で述べた.
「インド言語でのパフォーマンスは、次のようなクローズドソース モデルであっても、 ChatGPT, GPT-4 などは英語に比べて劣っている」と付け加えた。
AI4Bharat が命令チューニング データセットをリリース
AI4Bharat チームは命令チューニングもリリースしました データセット IndicLLM のさらなる研究を可能にするモデルに使用されます。
「Airavata」は、ライセンス契約に適した人間が厳選したデータセットを利用して、命令に調整されたモデルを開発します。チームは特に、次のような独自のモデルから生成されたデータの使用を避けています。 GPT-4 コストが増加し、ライセンス制限により他のアプリケーションでのこれらのモデルの自由な使用が制限されるためです。
代わりに、チームは人間が厳選したデータセットが、ほとんどのインド言語のモデルを構築するためのより持続可能なアプローチであると信じています。
ただし、Airavata は他の LLM と同様に、典型的な課題に直面します。これらには、捏造された情報につながる幻覚の可能性が含まれており、複雑または専門的なトピックでは正確さが難しい場合があります。また、不快なコンテンツや偏ったコンテンツが作成されるリスクもあります。
チームは、このモデルは研究目的であり、実稼働ユースケースには推奨されないことを明確にしました。
以前、AI4Bharat ラボは、オープンソースのビデオ トランスクリエーション プラットフォームである Chitralekha を立ち上げました。これには、ある言語から別の言語へのビデオの完全なトランスクリエーション プロセスを促進する労働力管理システムが含まれており、トランスクリプション、翻訳、翻訳された言語のナレーションをカバーします。
これは、非営利財団である EkStep とインドの Aadhaar プロジェクトの開発に貢献したチームとの協力により作成されました。
さらに、AI4Bharat は、2024 ～ 25 年度の AI レジデントおよびアソシエイト プログラムの採用プロセスを開始しました。この XNUMX 年間の博士課程前プログラムでは、次の分野での集中的な学習に重点を置いています。 自然言語処理 (NLP)、スピーチ、ビジョンのプロジェクト。
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Kumar は経験豊富なテクノロジー ジャーナリストであり、AI/ML、マーケティング テクノロジー、および暗号、ブロックチェーン、 NFTs. 業界で 3 年以上の経験を持つクマールは、説得力のある物語を作成し、洞察力に富んだインタビューを実施し、包括的な洞察を提供するという実績を確立してきました。 Kumar の専門知識は、著名な業界プラットフォーム向けの記事、レポート、研究出版物など、影響力の高いコンテンツの作成にあります。 技術的な知識とストーリーテリングを組み合わせた独自のスキルセットを備えたクマールは、複雑な技術概念を明確かつ魅力的な方法で多様な聴衆に伝えることに優れています。
より多くの記事
Kumar は経験豊富なテクノロジー ジャーナリストであり、AI/ML、マーケティング テクノロジー、および暗号、ブロックチェーン、 NFTs. 業界で 3 年以上の経験を持つクマールは、説得力のある物語を作成し、洞察力に富んだインタビューを実施し、包括的な洞察を提供するという実績を確立してきました。 Kumar の専門知識は、著名な業界プラットフォーム向けの記事、レポート、研究出版物など、影響力の高いコンテンツの作成にあります。 技術的な知識とストーリーテリングを組み合わせた独自のスキルセットを備えたクマールは、複雑な技術概念を明確かつ魅力的な方法で多様な聴衆に伝えることに優れています。
