30+ مدل ترانسفورماتور برتر در هوش مصنوعی: چه هستند و چگونه کار می کنند

این مقاله را به اشتراک بگذارید

• 
• 
• 
• 
• 

by دامیر یالالوف

تاریخ انتشار: 12 ژوئن 2023 ساعت 6:52 بروزرسانی: 12 ژوئن 2023 ساعت 6:52 ق.ظ.

by کارولینا گسچ

ویرایش و بررسی شده: 12 ژوئن 2023 ساعت 6:52 صبح

برای بهبود تجربه زبان محلی شما، گاهی اوقات از یک افزونه ترجمه خودکار استفاده می کنیم. لطفاً توجه داشته باشید که ممکن است ترجمه خودکار دقیق نباشد، پس بخوانید اصلی مقاله برای اطلاعات دقیق

در ماه‌های اخیر، مدل‌های ترانسفورماتور متعددی در هوش مصنوعی ظاهر شده‌اند که هر کدام نام‌های منحصربه‌فرد و گاهی سرگرم‌کننده دارند. با این حال، این نام ها ممکن است بینش زیادی در مورد آنچه این مدل ها واقعا انجام می دهند ارائه نکنند. هدف این مقاله ارائه لیستی جامع و ساده از محبوب ترین مدل های ترانسفورماتور است. این مدل‌ها را طبقه‌بندی می‌کند و همچنین جنبه‌ها و نوآوری‌های مهم را در خانواده Transformer معرفی می‌کند. لیست بالا پوشش خواهد داد مدل های آموزش دیده از طریق یادگیری خود نظارتی، مانند BERT یا GPT-3و همچنین مدل هایی که تحت آموزش های اضافی با مشارکت انسان قرار می گیرند، مانند InstructGPT مدل استفاده شده توسط ChatGPT.

ترانسفورماتورها در هوش مصنوعی چیست؟

ترانسفورماتورها نوعی از مدل های یادگیری عمیق هستند که در یک مقاله تحقیقاتی به نام "توجه تنها چیزی است که نیاز داریداین مقاله با جمع آوری بیش از 2017 استناد تنها در پنج سال، شهرت زیادی به دست آورده است.

معماری اصلی ترانسفورماتور شکل خاصی از مدل‌های رمزگذار-رمزگشا است که قبل از معرفی آن محبوبیت پیدا کرده بود. این مدل ها عمدتاً بر آنها تکیه داشتند LSTM و انواع دیگر شبکه های عصبی بازگشتی (RNN هابا توجه به تنها یکی از مکانیسم های مورد استفاده است. با این حال، مقاله ترانسفورمر یک ایده انقلابی را پیشنهاد کرد که توجه می تواند به عنوان تنها مکانیسم برای ایجاد وابستگی بین ورودی و خروجی عمل کند.

در زمینه ترانسفورماتورها، ورودی از دنباله ای از نشانه ها تشکیل شده است که می توانند کلمات یا زیرکلمه هایی در پردازش زبان طبیعی باشند.NLP). زیرکلمه‌ها معمولاً در مدل‌های NLP برای پرداختن به موضوع کلمات خارج از واژگان استفاده می‌شوند. خروجی رمزگذار یک نمایش با ابعاد ثابت برای هر توکن به همراه یک جاسازی جداگانه برای کل دنباله تولید می کند. رمزگشا خروجی رمزگذار را می گیرد و دنباله ای از توکن ها را به عنوان خروجی تولید می کند.

از زمان انتشار مقاله ترانسفورماتور، مدل های محبوب مانند برت و GPT جنبه هایی از معماری اصلی را با استفاده از مولفه های رمزگذار یا رمزگشا اتخاذ کرده اند. شباهت کلیدی بین این مدل‌ها در معماری لایه‌ها نهفته است که مکانیسم‌های توجه به خود و لایه‌های پیش‌خور را در خود جای داده است. در ترانسفورماتورها، هر نشانه ورودی مسیر خود را از طریق لایه ها طی می کند و در عین حال وابستگی های مستقیم را با هر نشانه دیگر در دنباله ورودی حفظ می کند. این ویژگی منحصربه‌فرد امکان محاسبه موازی و کارآمد نمایش‌های توکن متنی را فراهم می‌کند، قابلیتی که با مدل‌های متوالی مانند RNN‌ها امکان‌پذیر نیست.

در حالی که این مقاله فقط سطح معماری Transformer را خراش می دهد، نگاهی اجمالی به جنبه های اساسی آن ارائه می دهد. برای درک جامع تر، توصیه می کنیم به مقاله تحقیقاتی اصلی یا پست The Illustrated Transformer مراجعه کنید.

رمزگذارها و رمزگشاها در هوش مصنوعی چیست؟

تصور کنید دو مدل دارید، یک رمزگذار و یک رمزگشا، همکاری با یکدیگر مثل یک تیم رمزگذار یک ورودی می گیرد و آن را به یک بردار با طول ثابت تبدیل می کند. سپس رمزگشا آن بردار را می گیرد و آن را به دنباله خروجی تبدیل می کند. این مدل ها با هم آموزش داده می شوند تا اطمینان حاصل شود که خروجی تا حد امکان با ورودی مطابقت دارد.

هم رمزگذار و هم رمزگشا چندین لایه داشتند. هر لایه در رمزگذار دارای دو لایه فرعی بود: یک لایه خودتوجهی چند سر و یک شبکه پیشخور ساده. لایه توجه به خود به هر نشانه در ورودی کمک می کند تا روابط با همه نشانه های دیگر را درک کند. این زیرلایه ها همچنین دارای یک اتصال باقیمانده و نرمال سازی لایه هستند تا فرآیند یادگیری را روان تر کنند.

چند سر رسیور لایه توجه به خود کمی متفاوت از کد موجود در رمزگذار کار می کند. این توکن ها را در سمت راست نشانه ای که روی آن تمرکز می کند، ماسک می کند. این تضمین می‌کند که رمزگشا فقط به توکن‌هایی نگاه می‌کند که قبل از نشانه‌هایی هستند که می‌خواهند پیش‌بینی کنند. این توجه چند سر پوشانده به رمزگشا کمک می کند تا پیش بینی های دقیقی ایجاد کند. علاوه بر این، رمزگشا شامل یک لایه فرعی دیگر است که یک لایه توجه چند سر بر روی تمام خروجی های رمزگذار است.

توجه به این نکته ضروری است که این جزئیات خاص در انواع مختلف مدل ترانسفورماتور اصلاح شده اند. مدل هایی مانند BERT و GPTبرای مثال، بر اساس جنبه رمزگذار یا رمزگشای معماری اصلی هستند.

لایه های توجه در هوش مصنوعی چیست؟

در معماری مدلی که قبلاً بحث کردیم، لایه‌های توجه چند سر عناصر خاصی هستند که آن را قدرتمند می‌کنند. اما توجه دقیقا چیست؟ آن را به عنوان تابعی در نظر بگیرید که یک سوال را به مجموعه ای از اطلاعات ترسیم می کند و یک خروجی می دهد. هر نشانه در ورودی دارای یک پرس و جو، کلید و مقدار مرتبط با آن است. نمایش خروجی هر نشانه با جمع‌آوری وزنی از مقادیر محاسبه می‌شود، جایی که وزن هر مقدار بر اساس میزان مطابقت آن با پرس و جو تعیین می‌شود.

ترانسفورماتورها از یک تابع سازگاری به نام محصول نقطه مقیاس شده برای محاسبه این وزن ها استفاده می کنند. نکته جالب توجه در Transformers این است که هر توکن مسیر محاسباتی خود را طی می‌کند و امکان محاسبه موازی همه نشانه‌ها در دنباله ورودی را فراهم می‌کند. این به سادگی بلوک های توجه متعددی است که به طور مستقل نمایش های هر توکن را محاسبه می کند. سپس این نمایش ها برای ایجاد نمایش نهایی توکن ترکیب می شوند.

در مقایسه با انواع دیگر شبکه ها مانند تکراری و شبکه های کانولوشن، لایه های توجه چند مزیت دارند. آنها از نظر محاسباتی کارآمد هستند، به این معنی که می توانند اطلاعات را به سرعت پردازش کنند. آنها همچنین اتصال بالاتری دارند، که برای ثبت روابط طولانی مدت در توالی مفید است.

مدل های تنظیم شده در هوش مصنوعی چیست؟

مدل های فونداسیون مدل های قدرتمندی هستند که بر روی حجم زیادی از داده های عمومی آموزش دیده اند. سپس می‌توان آن‌ها را با آموزش در مجموعه‌ای کوچک‌تر، برای کارهای خاص تطبیق داد یا تنظیم کرد داده های خاص هدف. این رویکرد، رایج شده توسط کاغذ BERT، منجر به تسلط مدل های مبتنی بر Transformer در وظایف یادگیری ماشینی مرتبط با زبان شده است.

در مورد مدل هایی مانند BERT، آنها نمایش هایی از نشانه های ورودی تولید می کنند اما وظایف خاصی را به تنهایی انجام نمی دهند. برای مفید کردن آنها، اضافی لایه های عصبی در بالا اضافه می شوند و مدل به صورت سرتاسر آموزش داده می شود، فرآیندی که به عنوان تنظیم دقیق شناخته می شود. با این حال، با مدل های تولیدی پسندیدن GPT، رویکرد کمی متفاوت است. GPT یک مدل زبان رمزگشا است که برای پیش بینی کلمه بعدی در یک جمله آموزش داده شده است. با آموزش حجم وسیعی از داده های وب، GPT می تواند بر اساس پرس و جوها یا درخواست های ورودی خروجی های معقولی ایجاد کند.

را به GPT مفیدتر، OpenAI محققان توسعه یافتند آموزش دهیدGPT، که برای پیروی از دستورالعمل های انسانی آموزش دیده است. این با تنظیم دقیق به دست می آید GPT با استفاده از داده های برچسب گذاری شده توسط انسان از وظایف مختلف. دستور دهیدGPT قادر به انجام طیف گسترده ای از وظایف است و توسط موتورهای محبوب مانند ChatGPT.

تنظیم دقیق همچنین می تواند برای ایجاد انواع مدل های فونداسیون بهینه شده برای آن استفاده شود اهداف خاص فراتر از مدل سازی زبان برای مثال، مدل‌هایی وجود دارند که برای کارهای مرتبط با معنایی مانند طبقه‌بندی متن و بازیابی جستجو به‌خوبی تنظیم شده‌اند. علاوه بر این، رمزگذارهای ترانسفورماتور با موفقیت در چند کار تنظیم شده اند چارچوب های یادگیری برای انجام چندین کار معنایی با استفاده از یک مدل مشترک.

امروزه از تنظیم دقیق برای ایجاد نسخه هایی از مدل های فونداسیون استفاده می شود که می تواند توسط تعداد زیادی از کاربران استفاده شود. این فرآیند شامل ایجاد پاسخ به ورودی است درخواست می کند و انسان ها نتایج را رتبه بندی می کنند. از این رتبه بندی برای آموزش a استفاده می شود مدل پاداش، که به هر خروجی امتیاز می دهد. تقویت یادگیری با بازخورد انسانی سپس برای آموزش بیشتر مدل استفاده می شود.

چرا Transformers آینده هوش مصنوعی هستند؟

ترانسفورماتورها، نوعی مدل قدرتمند، برای اولین بار در زمینه ترجمه زبان به نمایش درآمدند. با این حال، محققان به سرعت متوجه شدند که ترانسفورماتورها را می توان برای کارهای مختلف مرتبط با زبان با آموزش آنها بر روی مقدار زیادی متن بدون برچسب و سپس تنظیم دقیق آنها بر روی مجموعه کوچکتری از داده های برچسب دار استفاده کرد. این رویکرد به Transformers اجازه داد تا دانش قابل توجهی در مورد زبان بدست آورد.

معماری ترانسفورماتور، که در اصل برای کارهای زبانی طراحی شده بود، برای برنامه های کاربردی دیگری مانند استفاده شده است تولید تصاویر، صدا، موسیقی و حتی اکشن ها. این امر تبدیل ترانسفورمرز را به یک جزء کلیدی در زمینه هوش مصنوعی مولد تبدیل کرده است که تغییر جنبه های مختلف جامعه است.

در دسترس بودن ابزارها و چارچوب هایی مانند PyTorch و TensorFlow نقش مهمی در پذیرش گسترده مدل های ترانسفورماتور ایفا کرده است. شرکت هایی مانند Huggingface خود را ساخته اند کسب و کار پیرامون ایده تجاری‌سازی کتابخانه‌های ترانسفورماتور منبع باز و سخت‌افزارهای تخصصی مانند هسته‌های Hopper Tensor NVIDIA، سرعت آموزش و استنتاج این مدل‌ها را افزایش داده است.

یکی از کاربردهای قابل توجه ترانسفورماتورها این است ChatGPT, یک چت بات منتشر شده توسط OpenAI. محبوبیت فوق العاده ای پیدا کرد و در مدت کوتاهی به میلیون ها کاربر رسید. OpenAI همچنین از انتشار خبر داده است GPT-4، یک نسخه قدرتمندتر که قادر به دستیابی به عملکردی شبیه انسان در کارهایی مانند امتحانات پزشکی و حقوقی.

تاثیر ترانسفورماتورها در زمینه هوش مصنوعی و کاربردهای گسترده آنها غیرقابل انکار است. آنها دارند راه را دگرگون کرد ما به وظایف مرتبط با زبان نزدیک می شویم و راه را برای پیشرفت های جدید در هوش مصنوعی مولد هموار می کنیم.

3 نوع معماری پیش آموزش

معماری ترانسفورماتور، که در اصل از یک رمزگذار و یک رمزگشا تشکیل شده است، به گونه ای تکامل یافته است که تغییرات مختلفی را بر اساس نیازهای خاص شامل می شود. بیایید این تغییرات را به زبان ساده بشکنیم.

1. پیش آموزش رمزگذار: این مدل ها بر درک جملات یا عبارات کامل تمرکز دارند. در طول پیش‌آموزش، از رمزگذار برای بازسازی توکن‌های پوشانده شده در جمله ورودی استفاده می‌شود. این به مدل کمک می کند تا یاد بگیرد که زمینه کلی را درک کند. چنین مدل هایی برای کارهایی مانند طبقه بندی متن، مستلزم و پاسخ به سؤالات استخراجی مفید هستند.
2. پیش آموزش رسیور: مدل‌های رمزگشا برای تولید توکن بعدی بر اساس توالی قبلی توکن‌ها آموزش داده می‌شوند. آنها به عنوان مدل های زبانی خود رگرسیون شناخته می شوند. لایه‌های توجه به خود در رمزگشا فقط می‌توانند به نشانه‌ها قبل از یک نشانه داده شده در جمله دسترسی داشته باشند. این مدل ها برای کارهایی که شامل تولید متن هستند ایده آل هستند.
3. ترانسفورماتور (Encoder-Decoder) پیش آموزش: این تغییر اجزای رمزگذار و رمزگشا را با هم ترکیب می کند. لایه‌های خود توجه رمزگذار می‌توانند به همه نشانه‌های ورودی دسترسی داشته باشند، در حالی که لایه‌های خود توجه رمزگشا فقط می‌توانند قبل از یک نشانه داده شده به نشانه‌ها دسترسی داشته باشند. این معماری رمزگشا را قادر می سازد تا از بازنمایی های آموخته شده توسط رمزگذار استفاده کند. مدل‌های رمزگذار-رمزگشا برای کارهایی مانند خلاصه‌سازی، ترجمه یا پاسخ‌گویی به سؤالات بسیار مناسب هستند.

اهداف پیش‌آموزشی می‌تواند شامل حذف نویز یا مدل‌سازی علّی زبان باشد. این اهداف برای مدل‌های رمزگذار-رمزگشا در مقایسه با مدل‌های فقط رمزگذار یا فقط رمزگشا پیچیده‌تر هستند. معماری ترانسفورماتور بسته به تمرکز مدل، تغییرات متفاوتی دارد. خواه درک جملات کامل، تولید متن یا ترکیب هر دو برای کارهای مختلف باشد، Transformers انعطاف پذیری را در پرداختن به چالش های مختلف مرتبط با زبان ارائه می دهد.

8 نوع کار برای مدل های از پیش آموزش دیده

هنگام آموزش یک مدل، باید به آن وظیفه یا هدفی بدهیم تا از آن بیاموزیم. وظایف مختلفی در پردازش زبان طبیعی (NLP) وجود دارد که می‌توان از آنها برای مدل‌های پیش‌آموزشی استفاده کرد. بیایید برخی از این وظایف را به زبان ساده بیان کنیم:

1. مدل سازی زبان (LM): مدل نشانه بعدی را در یک جمله پیش بینی می کند. یاد می گیرد که زمینه را درک کند و جملات منسجمی تولید کند.
2. مدل سازی علّی زبان: مدل نشانه بعدی را در یک دنباله متنی، به ترتیب از چپ به راست پیش بینی می کند. این مانند یک مدل داستان گویی است که جملات را یک کلمه در یک زمان تولید می کند.
3. مدل‌سازی زبان پیشوند: مدل بخش «پیشوند» را از دنباله اصلی جدا می‌کند. می تواند به هر نشانه ای در پیشوند توجه کند و سپس بقیه دنباله را به صورت خودبازگشت ایجاد کند.
4. مدل‌سازی زبان ماسک‌شده (MLM): برخی نشانه‌ها در جملات ورودی پوشانده شده‌اند و مدل نشانه‌های گمشده را بر اساس زمینه اطراف پیش‌بینی می‌کند. یاد می گیرد که جاهای خالی را پر کند.
5. مدل‌سازی زبان جایگشته (PLM): این مدل رمز بعدی را بر اساس یک جایگشت تصادفی دنباله ورودی پیش‌بینی می‌کند. یاد می گیرد که مرتبه های مختلف توکن ها را مدیریت کند.
6. رمزگذار خودکار حذف نویز (DAE): این مدل یک ورودی تا حدی خراب می گیرد و هدف آن بازیابی ورودی اصلی و بدون تحریف است. یاد می گیرد که با نویز یا قسمت های از دست رفته متن برخورد کند.
7. Replaced Token Detection (RTD): مدل تشخیص می دهد که آیا یک توکن از متن اصلی یا نسخه تولید شده آمده است. یاد می گیرد که توکن های جایگزین شده یا دستکاری شده را شناسایی کند.
8. پیش‌بینی جمله بعدی (NSP): مدل یاد می‌گیرد که آیا دو جمله ورودی بخش‌های پیوسته از داده‌های آموزشی هستند یا خیر. رابطه بین جملات را درک می کند.

این وظایف به مدل کمک می کند تا ساختار و معنای زبان را بیاموزد. با پیش‌آموزش روی این وظایف، مدل‌ها قبل از تنظیم دقیق برای کاربردهای خاص، درک خوبی از زبان به دست می‌آورند.

30+ ترانسفورماتور برتر در هوش مصنوعی

پرسش های متداول

ترانسفورماتورها در هوش مصنوعی نوعی از معماری یادگیری عمیق که پردازش زبان طبیعی و سایر وظایف را تغییر داده است. آنها از مکانیسم‌های توجه به خود برای به تصویر کشیدن روابط بین کلمات در یک جمله استفاده می‌کنند و آنها را قادر می‌سازد تا متنی شبیه انسان را درک کرده و تولید کنند.

رمزگذارها و رمزگشاها اجزایی هستند که معمولاً در مدل های دنباله به دنباله استفاده می شوند. رمزگذارها داده‌های ورودی مانند متن یا تصاویر را پردازش می‌کنند و آن‌ها را به یک نمایش فشرده تبدیل می‌کنند، در حالی که رمزگشاها داده‌های خروجی را بر اساس نمایش کدگذاری شده تولید می‌کنند و کارهایی مانند ترجمه زبان یا زیرنویس تصویر را امکان‌پذیر می‌کنند.

لایه های توجه اجزایی هستند که در آنها استفاده می شود شبکه های عصبی، به ویژه در مدل های ترانسفورماتور. آنها مدل را قادر می‌سازند تا به طور انتخابی بر روی بخش‌های مختلف دنباله ورودی تمرکز کند، وزن‌هایی را به هر عنصر بر اساس ارتباط آن اختصاص دهد، و اجازه می‌دهد تا وابستگی‌ها و روابط بین عناصر را به طور مؤثر ثبت کند.

مدل‌های تنظیم‌شده دقیق به مدل‌های از پیش آموزش‌دیده‌ای اطلاق می‌شوند که برای بهبود عملکردشان و تطبیق آن‌ها با نیازهای خاص آن کار، بیشتر در مورد یک کار یا مجموعه داده خاص آموزش دیده‌اند. این فرآیند تنظیم دقیق شامل تنظیم پارامترهای مدل برای بهینه‌سازی پیش‌بینی‌های آن و تخصصی‌تر کردن آن برای کار هدف است.

ترانسفورماتورها آینده هوش مصنوعی در نظر گرفته می شوند زیرا عملکرد استثنایی در طیف گسترده ای از وظایف از جمله پردازش زبان طبیعی، تولید تصویر و موارد دیگر از خود نشان داده اند. توانایی آن‌ها در گرفتن وابستگی‌های دوربرد و پردازش داده‌های متوالی به‌طور کارآمد، آن‌ها را برای کاربردهای مختلف بسیار سازگار و مؤثر می‌سازد، و راه را برای پیشرفت در هوش مصنوعی مولد هموار می‌کند و بسیاری از جنبه‌های جامعه را متحول می‌کند.

معروف‌ترین مدل‌های ترانسفورماتور در هوش مصنوعی شامل BERT (نمایش رمزگذار دوطرفه از ترانسفورماتور) است. GPT (ترانسفورماتور مولد از پیش آموزش دیده)، و T5 (ترانسفورماتور انتقال متن به متن). این مدل ها به نتایج قابل توجهی در وظایف مختلف پردازش زبان طبیعی دست یافته اند و محبوبیت قابل توجهی در جامعه تحقیقاتی هوش مصنوعی به دست آورده اند.

درباره هوش مصنوعی بیشتر بخوانید:

• دانشگاه تگزاس: با استفاده از رمزگشای فعالیت مغز می توان ذهن افراد را آشکار کرد
• فیس بوک روش جدیدی برای دو برابر کردن عملکرد ترانسفورماتورهای هوش مصنوعی توسعه می دهد
• GPT-4 می تواند به درخواست های شما برای تصاویر، اسناد، نمودارها و اسکرین شات ها رسیدگی کند

درباره نویسنده

Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است. 

مقالات بیشتر

دامیر یالالوف

• 
• 

دامیر یالالوف

Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است. 

• 

مقالات بیشتر