8 نکته ای که باید در مورد مدل های زبان بزرگ بدانید

این مقاله را به اشتراک بگذارید

• 
• 
• 
• 
• 

by دامیر یالالوف

تاریخ انتشار: 05 آوریل 2023 ساعت 4:29 بروزرسانی: 05 آوریل 2023 ساعت 4:30 ق.ظ.

برای بهبود تجربه زبان محلی شما، گاهی اوقات از یک افزونه ترجمه خودکار استفاده می کنیم. لطفاً توجه داشته باشید که ممکن است ترجمه خودکار دقیق نباشد، پس بخوانید اصلی مقاله برای اطلاعات دقیق

با افزایش رشد در توسعه پردازش زبان طبیعی و استفاده از آن در تجارت، علاقه فزاینده ای به مدل های زبان بزرگ وجود دارد. این مدل‌ها برای کشف تفاوت‌های ظریف زبان طبیعی، بهبود توانایی ماشین‌ها برای درک و تولید متن و خودکارسازی کارهایی مانند تشخیص صدا و ترجمه ماشینی استفاده می‌شوند. در اینجا هشت نکته ضروری است که باید در مورد مدل های زبان بزرگ (LLM) بدانید.

با افزایش هزینه ها، LLM ها "قادرتر" هستند

حتی بدون نوآوری های جالب، LLM ها به طور قابل پیش بینی با افزایش هزینه ها «قادرتر» می شوند. نکته اصلی در اینجا قابل پیش بینی است که در مقاله در مورد نشان داده شده است GPT-4: پنج تا هفت مدل کوچک با بودجه 0.1 درصد نهایی آموزش داده شد و بر این اساس برای یک مدل عظیم پیش بینی شد. برای ارزیابی کلی گیجی و معیارها در یک نمونه فرعی از یک کار خاص، چنین پیش‌بینی بسیار دقیقی بود. این قابلیت پیش‌بینی برای کسب‌وکارها و سازمان‌هایی که برای عملیات خود به LLM متکی هستند، مهم است، زیرا می‌توانند بر این اساس بودجه‌بندی کنند و برای هزینه‌های آتی برنامه‌ریزی کنند. با این حال، توجه به این نکته مهم است که در حالی که افزایش هزینه‌ها ممکن است منجر به بهبود قابلیت‌ها شود، نرخ بهبود ممکن است در نهایت افزایش یابد و سرمایه‌گذاری در نوآوری‌های جدید برای ادامه پیشرفت ضروری باشد.

نگاهی گذرا به چگونگی GPT با افزایش هزینه های آموزشی، مدل ها سازگار می شوند

با این حال، مهارت های مهم خاص به طور غیرقابل پیش بینی به عنوان محصول جانبی افزایش ظاهر می شوند هزینه های آموزشی (آموزش طولانی‌تر، داده‌های بیشتر، مدل بزرگ‌تر) - پیش‌بینی اینکه چه زمانی مدل‌ها شروع به انجام وظایف خاص می‌کنند تقریبا غیرممکن است. ما موضوع را عمیق تر در خود بررسی کردیم مقاله درباره تاریخچه توسعه GPT مدل ها. تصویر توزیع افزایش کیفیت مدل ها را در وظایف مختلف نشان می دهد. فقط مدل های بزرگ هستند که می توانند کارهای مختلف را یاد بگیرند. این نمودار تأثیر قابل توجه افزایش اندازه را نشان می دهد GPT مدل عملکرد آنها در وظایف مختلف با این حال، مهم است که توجه داشته باشیم که این به قیمت افزایش منابع محاسباتی و اثرات زیست محیطی است.

LLM ها بازی های رومیزی را با استفاده از نمایش های دنیای بیرون یاد می گیرند

LLM ها اغلب بازنمایی های دنیای بیرون را می آموزند و استفاده می کنند. در اینجا نمونه های زیادی وجود دارد که در اینجا به یکی از آنها اشاره می کنیم: مدل های آموزش دیده برای انجام بازی های روی تخته بر اساس توصیف حرکات فردی، بدون دیدن تصویری از زمین بازی، در هر حرکت نمایش های داخلی وضعیت تخته را بیاموزید. سپس می توان از این نمایش های داخلی استفاده کرد آینده را پیش بینی کنید حرکات و نتایج، به مدل اجازه می دهد تا بازی را در سطح بالایی انجام دهد. این توانایی برای یادگیری و استفاده از بازنمایی ها یک کلید است جنبه یادگیری ماشینی و هوش مصنوعی

هیچ راه حل آسانی برای مدیریت LLM وجود ندارد

هیچ روش قابل اعتمادی برای کنترل رفتار LLM وجود ندارد. اگرچه پیشرفت هایی در درک و کاهش مشکلات مختلف (از جمله ChatGPT و GPT-4 با کمک بازخورد)، هیچ توافقی در مورد اینکه آیا می توانیم آنها را حل کنیم وجود ندارد. نگرانی فزاینده‌ای وجود دارد که در آینده با ایجاد سیستم‌های بزرگتر به یک مشکل بزرگ و بالقوه فاجعه‌بار تبدیل شود. بنابراین، محققان در حال بررسی روش‌های جدیدی هستند تا اطمینان حاصل کنند که سیستم‌های هوش مصنوعی با ارزش‌ها و اهداف انسانی، مانند همسویی ارزش و مهندسی پاداش، همسو هستند. با این حال، تضمین آن همچنان یک وظیفه چالش برانگیز است ایمنی و قابلیت اطمینان LLM ها در سناریوهای پیچیده دنیای واقعی

کارشناسان در توضیح نحوه عملکرد LLM مشکل دارند

کارشناسان هنوز نمی توانند عملکرد درونی LLM را تفسیر کنند. هیچ تکنیکی به ما اجازه نمی دهد که به طور رضایت بخشی بیان کنیم که مدل از چه نوع دانش، استدلال یا اهدافی برای ایجاد هر نتیجه ای استفاده می کند. این عدم تفسیرپذیری نگرانی‌هایی را در مورد قابلیت اطمینان و عادلانه بودن تصمیمات LLM، به ویژه در برنامه‌های پرمخاطره مانند عدالت کیفری یا امتیازدهی اعتباری، ایجاد می‌کند. همچنین بر نیاز به تحقیقات بیشتر در مورد توسعه مدل‌های هوش مصنوعی شفاف‌تر و پاسخگوتر تاکید می‌کند.

LLM ها به اندازه انسان ها توانایی دارند

اگرچه LLM ها در درجه اول آموزش دیده اند هنگام نوشتن متن از رفتار انسان تقلید کنید، آنها این پتانسیل را دارند که در بسیاری از کارها از ما پیشی بگیرند. این را می توان در هنگام بازی شطرنج یا Go مشاهده کرد. این به دلیل توانایی آنها در تجزیه و تحلیل حجم وسیعی از داده ها و تصمیم گیری بر اساس آن تجزیه و تحلیل با سرعتی است که انسان نمی تواند با آن مطابقت کند. با این حال، LLM ها هنوز فاقد خلاقیت و شهودی هستند که انسان ها دارند، که آنها را برای بسیاری از کارها مناسب تر می کند.

LLM ها باید چیزی بیش از "جنبه از همه کارها" باشند

LLM ها نباید ارزش های سازندگان خود یا مقادیر کدگذاری شده در انتخابی از اینترنت را بیان کنند. آنها نباید کلیشه ها یا تئوری های توطئه را تکرار کنند یا به دنبال توهین به کسی باشند. در عوض، LLM ها باید طوری طراحی شوند که اطلاعات بی طرفانه و واقعی را به کاربران خود ارائه دهند و در عین حال به تفاوت های فرهنگی و اجتماعی احترام بگذارند. علاوه بر این، آنها باید تحت آزمایش و نظارت منظم قرار گیرند تا اطمینان حاصل شود که همچنان از این استانداردها پیروی می کنند.

مدل‌ها باهوش‌تر از آن چیزی هستند که مردم بر اساس برداشت اولیه فکر می‌کنند

برآورد توانایی یک مدل بر اساس برداشت های اولیه اغلب گمراه کننده است. خیلی اوقات، شما نیاز دارید که با درخواست مناسب، مدلی را پیشنهاد دهید، و شاید نمونه هایی را نشان دهید، و این کار خیلی بهتر از پس آن بر می آید. یعنی "هوشمندتر" از آن چیزی است که در نگاه اول به نظر می رسد. بنابراین، دادن فرصتی منصفانه به مدل و فراهم کردن منابع لازم برای بهترین عملکرد آن بسیار مهم است. با رویکرد صحیح، حتی مدل های به ظاهر نامناسب نیز می توانند ما را با قابلیت های خود شگفت زده کنند.

اگر روی نمونه‌ای از 202 کار از مجموعه داده‌های BIG-Bench تمرکز کنیم (آزمایش آن به‌ویژه دشوار شد مدل های زبان از و به)، سپس به عنوان یک قاعده (به طور متوسط)، مدل ها با افزایش مقیاس، افزایش کیفیت را نشان می دهند، اما به صورت جداگانه، معیارها در وظایف می توانند:

• به تدریج بهبود یابد،
• به شدت بهبود یابد،
• بدون تغییر باقی می ماند،
• نزول کردن،
• هیچ ارتباطی نشان نمی دهد

همه اینها منجر به عدم امکان برون یابی مطمئن عملکرد هر سیستم آینده می شود. قسمت سبز به خصوص جالب است - این دقیقاً جایی است که شاخص های کیفیت بدون هیچ دلیلی به شدت بالا می روند.

درباره هوش مصنوعی بیشتر بخوانید:

• دیوید شاپیرو می گوید AGI 1.5 سال دیگر ظاهر خواهد شد
• دیدار ChatGPT: هوش مصنوعی که می تواند گوگل را بکشد
• Brave Summarizer مبتنی بر هوش مصنوعی را در موتور جستجوی خود راه اندازی کرد
• تبدیل متن به سه بعدی: گوگل یک شبکه عصبی ایجاد کرده است که مدل های سه بعدی را از توضیحات متن تولید می کند
• تبدیل متن به محصول: چگونه ChatGPT به شما امکان می دهد محصول خود را بسازید

درباره نویسنده

Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است. 

مقالات بیشتر

دامیر یالالوف

• 
• 

دامیر یالالوف

Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است. 

• 

مقالات بیشتر