اکتبر 12، 2023

به گفته یکی از محققان، مدل‌های بزرگ زبان امروزی، مدل‌های کوچکی خواهند بود OpenAI

تاریخ انتشار: 12 اکتبر 2023 ساعت 3:05 صبح بروزرسانی: 12 اکتبر 2023 ساعت 3:08 ق.ظ.

ویرایش و بررسی شده: 12 اکتبر 2023 ساعت 3:05 صبح

هیونگ وون چانگ، محقق ماهر هوش مصنوعی که قبلاً توسط Google Brain استخدام شده بود و در حال حاضر عضوی از OpenAI تیم، یک سخنرانی 45 دقیقه ای تامل برانگیز ارائه کرد که در آن دنیای مدل های زبان بزرگ را در سال 2023 بررسی کرد. چانگ در این زمینه تجربه دارد. او اولین نویسنده مقاله گوگل بودمقیاس‌بندی دستورالعمل-مدل‌های زبانی تنظیم‌شده،” که بررسی می کند که چگونه می توان مدل های زبان بزرگ را برای پیروی از دستورالعمل ها آموزش داد.

چانگ بر دنیای مدل های زبانی گسترده به عنوان پویا تأکید می کند. در دنیای LLM، اصل راهنما به طور مداوم در حال تغییر است، برخلاف رشته‌های سنتی که مفروضات اساسی معمولاً ثابت می‌مانند. با نسل آینده مدل‌ها، آنچه در حال حاضر غیرممکن یا غیرعملی تصور می‌شود ممکن است ممکن شود. او بر اهمیت مقدمه بیشتر ادعاها در مورد قابلیت های LLM با «فعلا» تأکید می کند. یک مدل می تواند یک کار را انجام دهد. فقط هنوز این کار را نکرده است.

مدل های بزرگ امروزی تنها چند سال دیگر به مدل های کوچک تبدیل می شوند
هیونگ وون چانگ، OpenAI

نیاز به مستندسازی دقیق و تکرارپذیری در تحقیق هوش مصنوعی یکی از مهم ترین درس هایی است که از سخنرانی چانگ می توان آموخت. بسیار مهم است که به طور کامل کار در حال انجام را با توسعه میدان ثبت کنید. این استراتژی تضمین می‌کند که آزمایش‌ها می‌توانند به سرعت تکرار و بازبینی شوند، و محققان را قادر می‌سازد تا بر روی کارهای قبلی خود کار کنند. از طریق این عمل، تصدیق می شود که قابلیت هایی ممکن است در آینده توسعه یابد که در تحقیقات اولیه عملی نبودند.

چانگ بخشی از صحبت های خود را به توضیح پیچیدگی های داده ها و موازی سازی مدل اختصاص می دهد. برای کسانی که علاقه مند به کنکاش عمیق تر در جنبه های فنی هوش مصنوعی هستند، این بخش بینش های ارزشمندی را در مورد عملکرد درونی این تکنیک های موازی ارائه می دهد. درک این مکانیسم ها برای بهینه سازی بسیار مهم است آموزش مدل در مقیاس بزرگ.

چانگ معتقد است که تابع هدف فعلی، حداکثر احتمال، که برای پیش‌آموزش LLM استفاده می‌شود، برای دستیابی به مقیاس‌های واقعاً عظیم، مانند 10,000 برابر ظرفیت، یک گلوگاه است. GPT-4. همانطور که یادگیری ماشین پیشرفت می کند، توابع ضرر طراحی شده به صورت دستی به طور فزاینده ای محدود می شوند.

چانگ پیشنهاد می کند که پارادایم بعدی در توسعه هوش مصنوعی شامل یادگیری توابع از طریق الگوریتم های جداگانه است. این رویکرد، اگرچه در مراحل اولیه خود است، اما نوید مقیاس پذیری فراتر از محدودیت های فعلی را دارد. او همچنین تلاش‌های در حال انجام، مانند یادگیری تقویتی از بازخورد انسانی (RLHF) با مدل‌سازی قوانین را به‌عنوان گام‌هایی در این مسیر برجسته می‌کند، اگرچه چالش‌هایی باقی مانده است که باید بر آن غلبه کرد.

برچسب ها:

سلب مسئولیت

در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.

درباره نویسنده

Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.

مقالات بیشتر

دامیر یالالوف