فوریه 06، 2023

XLM-V: روشی جدید از مدل‌های زبان ماسک‌دار چند زبانه که تلاش می‌کند مشکل تنگنای واژگان را برطرف کند.

تاریخ انتشار: 06 فوریه 2023 ساعت 8:30 بروزرسانی: 06 فوریه 2023 ساعت 7:37 ق.ظ.

به طور خلاصه

مقاله مشکل زیر را مطرح می کند: مدل های زبان افزایش در پارامترها، رشد در عمق، اما واژگان هنوز هم در اندازه یکسان است.

محققان آموزش مدل جدیدی را با 1 میلیون توکن از واژگان به روشی غیرمنتظره آغاز کردند.

محققان مصمم بودند ببینند با چنین افزایش قابل توجهی در توکن ها، چه نوع بهبودی می توانند داشته باشند.

موضوع مطرح شده توسط مقاله تحت عنوان «XLM-V: غلبه بر تنگنای واژگان در مدل‌های زبان چندزبانه ماسک‌شده» این است که وقتی پارامترها و عمق مدل‌های زبان افزایش می‌یابد، اندازه واژگان آنها بدون تغییر باقی می‌ماند. به عنوان مثال، مدل mT5 دارای پارامترهای 13B اما واژگانی 250K کلمه ای است که بیش از 100 زبان را پشتیبانی می کند. بنابراین، هر زبان تقریباً 2,500 توکن منحصر به فرد دارد که مشخصاً تعداد بسیار کمی است.

XLM-V: روشی جدید از مدل های چند زبانه ماسک شده زبان که تلاش می کند مشکل تنگنای واژگان را برطرف کند. — @ Midjourney / شالو

نویسندگان چه اقدامی انجام می دهند؟ آنها شروع به آموزش یک مدل جدید با 1 میلیون توکن از واژگان به روشی غیرمنتظره می کنند. XLM-R قبلا وجود داشت، اما با این ارتقا، تبدیل به XLM-V می شود. نویسندگان مصمم بودند ببینند با چنین افزایش قابل توجهی در توکن‌ها، چه نوع پیشرفتی می‌توانند داشته باشند.

مقاله مرتبط: پیش بینی می شود هزینه های آموزش مدل هوش مصنوعی تا سال 100 از 500 میلیون دلار به 2030 میلیون دلار افزایش یابد.

XLM-V چه چیز جدیدی است که XLM-R نکرده است؟

بهبود مدل های چند زبانه با زبان خوشه‌ای واژگان برای ساخت بردارهای نمایش واژگانی برای هر زبان به شرح زیر استفاده می‌شود: برای هر زبان در مجموعه زبان‌ها، آنها یک بردار دودویی می‌سازند که هر عنصر آن یک کلمه خاص در زبان است. یکی نشان می دهد که کلمه در فرهنگ لغت زبان گنجانده شده است (شما می توانید یک تصویر را با توضیحات گرافیکی در پیوست ها مشاهده کنید.) با این حال، با ایجاد یک بردار با استفاده از احتمال لگاریتمی منفی وقوع هر واژگان، نویسندگان نحوه ارجاع را بهبود می بخشند. .

پس از آن بردارها گروه بندی می شوند. علاوه بر این، یک مدل جمله بر روی هر خوشه خاص آموزش داده می شود تا انتقال واژگان بین زبان های واژگانی نامرتبط را متوقف کند.
ALP ظرفیت یک فرهنگ لغت برای نشان دادن یک زبان خاص را ارزیابی می کند.
استفاده از الگوریتم برای ایجاد ULM دیکشنری ها مرحله زیر است. که با یک فرهنگ لغت اولیه بزرگ شروع می شود و به تدریج آن را کاهش می دهد تا تعداد نشانه ها کمتر از یک آستانه معین برای اندازه فرهنگ لغت باشد.

درباره هوش مصنوعی بیشتر بخوانید:

برچسب ها:

سلب مسئولیت

در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.

درباره نویسنده

Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.

مقالات بیشتر

دامیر یالالوف