ژانویه 25، 2024

AI4Bharat "Airavata" را منتشر کرد، یک LLM سفارشی برای بهبود زبان هندی در مدل‌های هوش مصنوعی

تاریخ انتشار: 25 ژانویه 2024 ساعت 5:32 بروزرسانی: 25 ژانویه 2024 ساعت 5:32 صبح

ویرایش و بررسی شده: 25 ژانویه 2024 ساعت 5:32 صبح

به طور خلاصه

AI4Bharat هند از انتشار "Airavata" خبر داد، یک LLM برای بهبود پشتیبانی از زبان هندی در مدل‌های هوش مصنوعی، که توسط تنظیم دقیق OpenHathi ساخته شده است.

AI4Bharat 'Airavat' را منتشر کرد، یک LLM سفارشی برای پشتیبانی بهبودیافته زبان هندی

آزمایشگاه تحقیقاتی هوش مصنوعی مؤسسه آموزش عالی هند IIT Madras AI4Bharat Airavata، یک مدل تنظیم شده با دستورالعمل برای هندی را منتشر کرد. طبق این اعلامیه، این مدل با تنظیم دقیق OpenHathi از Sarvam AI، با مجموعه داده‌های هندی متنوع ساخته شده است تا برای کارهای کمکی مناسب‌تر باشد.

هندی با بیش از 43 درصد زبان مادری پرگویش ترین زبان در هند است.

آزمایشگاه هوش مصنوعی گفت: «در حال حاضر، Airavata از هندی پشتیبانی می کند، اما ما قصد داریم به زودی این را به همه 22 زبان برنامه ریزی شده هندی گسترش دهیم. لینک شده در پست. ذکر این نکته ضروری است که عملکرد مدل های زبان بزرگ (LLMs) بر مجموعه داده‌های تنظیم دستورالعمل با کیفیت بالا متکی است. با این حال، تعداد کمی از مجموعه داده‌های متنوع برای هندی موجود است.

همچنین پیشرفت‌های عمده‌ای در توسعه مجموعه‌های داده برای پیش‌آموزش مانند RedPajama حاصل شده است. تنظیم دستورالعمل مانند Alpaca، UltraChat، Dolly، OpenAssistant، LMSYS-Chat. و معیارهای ارزیابی مانند AlpacaEval، MT-Bench. با این حال، بیشتر این پیشرفت‌ها عمدتاً بر زبان انگلیسی متمرکز شده‌اند.

پشتیبانی محدودی از زبان‌های هندی وجود دارد که می‌توان آن را به درج تصادفی برخی از داده‌های زبان هندی نسبت داد که در طول پیش‌آموزش این مدل‌های زبانی از فیلترهای داده عبور کرده‌اند. با این حال، نمایش داده ها، کارایی توکن سازها، و عملکرد کار برای زبان های هندی به طور قابل توجهی پشت سر زبان انگلیسی است.» AI4Bharat Labs. در بیانیه خود گفت.

عملکرد در زبان های هندی، حتی در مدل های متن بسته مانند ChatGPT, GPT-4 و دیگران، در مقایسه با انگلیسی پایین‌تر است.»

AI4Bharat مجموعه داده های تنظیم دستورالعمل را منتشر می کند

تیم AI4Bharat همچنین دستورالعمل تنظیم را منتشر کرد مجموعه داده ها برای این مدل برای فعال کردن تحقیقات بیشتر برای IndicLLM استفاده می شود.

"Airavata" برای توسعه مدل‌های تنظیم‌شده توسط دستورالعمل‌ها به مجموعه داده‌های تنظیم‌شده توسط انسان متکی است که با قراردادهای مجوز سازگار هستند. این تیم به طور خاص از استفاده از داده های تولید شده از مدل های اختصاصی مانند خودداری می کند GPT-4 زیرا باعث افزایش هزینه ها و محدود کردن استفاده رایگان از این مدل ها در سایر برنامه ها به دلیل محدودیت های مجوز می شود.

در عوض، تیم بر این باور است که مجموعه داده‌های تنظیم‌شده توسط انسان، رویکرد پایدارتری برای ساخت مدل‌ها برای اکثر زبان‌های هندی است.

با این حال، Airavata، مانند سایر LLM ها، با چالش های معمولی روبرو می شود. اینها شامل احتمال توهم است که منجر به اطلاعات ساختگی می شود و ممکن است با دقت در موضوعات پیچیده یا تخصصی مشکل داشته باشد. همچنین خطر تولید محتوای اعتراض آمیز یا مغرضانه وجود دارد.

تیم توضیح داد که این مدل برای اهداف تحقیقاتی است و برای هیچ مورد استفاده تولیدی توصیه نمی شود.

پیش از این، آزمایشگاه AI4Bharat یک پلتفرم تبدیل ویدیوی منبع باز - Chitralekha - راه اندازی کرد که شامل یک سیستم مدیریت نیروی کار است که فرآیند انتقال کامل یک ویدیو از یک زبان به زبان دیگر را تسهیل می کند و رونویسی، ترجمه و صدا را برای زبان ترجمه شده پوشش می دهد.

با همکاری EkStep - یک بنیاد غیرانتفاعی و تیمی که در توسعه پروژه Aadhaar هند نقش مهمی داشت، ایجاد شد.

علاوه بر این، AI4Bharat فرآیند استخدام را برای برنامه مقیم و همکار هوش مصنوعی خود برای دوره 2024-25 آغاز کرده است. این برنامه سالانه پیش دکتری بر کار فشرده در پردازش زبان طبیعی (NLP)، پروژه های گفتار و بینایی.

سلب مسئولیت

در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.

درباره نویسنده

کومار یک روزنامه‌نگار باتجربه فناوری با تخصص در تقاطع‌های پویا AI/ML، فناوری بازاریابی، و زمینه‌های نوظهور مانند رمزنگاری، بلاک چین و NFTس کومار با بیش از 3 سال تجربه در این صنعت، سابقه اثبات شده ای در ساخت روایت های قانع کننده، انجام مصاحبه های روشنگرانه و ارائه بینش های جامع ایجاد کرده است. تخصص کومار در تولید محتوای با تاثیر بالا، از جمله مقالات، گزارش‌ها و انتشارات تحقیقاتی برای پلتفرم‌های صنعتی برجسته است. کومار با مجموعه ای از مهارت های منحصر به فرد که دانش فنی و داستان سرایی را با هم ترکیب می کند، در انتقال مفاهیم پیچیده فناوری به مخاطبان مختلف به شیوه ای واضح و جذاب برتری می یابد.

مقالات بیشتر

کومار گاندارو