گواناکو به عنوان یک منبع باز بالقوه ظاهر می شود ChatGPT رقیب
به طور خلاصه
Guanaco، یک ربات گفتگوی متن باز که توسط محققان دانشگاه واشنگتن توسعه یافته است، آرزوی رقابت با آن را دارد ChatGPT در حالی که به زمان و هزینه کمتری برای آموزش نیاز دارد.
با این حال، یک مطالعه جدید، اثربخشی مدل هایی مانند آلپاکا را زیر سوال برده است.
محققان دانشگاه واشنگتن رونمایی کردند گواناکو، یک ربات چت منبع باز که هدف آن رقابت با عملکرد است ChatGPT در حالی که زمان و منابع مورد نیاز برای آموزش را به میزان قابل توجهی کاهش می دهد. به نام یکی از بستگان آمریکای جنوبی llamas، Guanaco بر روی ساخته شده است LLaMA مدل زبان است و از یک روش تنظیم دقیق جدید به نام QLoRA استفاده می کند.
سازندگان Guanaco ادعا می کنند که عملکرد قابل مقایسه ای را به دست می آورد ChatGPT اما می توان فقط در یک روز آموزش داد. این شاهکار قابل توجه توسط QLoRA امکان پذیر شده است، یک تکنیک تنظیم دقیق مدل زبان که به میزان قابل توجهی مقدار حافظه GPU مورد نیاز برای آموزش را کاهش می دهد. در حالی که ChatGPT به 780 گیگابایت حافظه GPU نیاز دارد برای مدلی با 65 میلیارد پارامتر، ساده ترین نسخه گواناکو تنها به 5 گیگابایت نیاز دارد.
با این دستاوردهای بازده چشمگیر، گواناکو و مدل‌های منبع باز مشابه این ایده را به چالش می‌کشند که آموزش گران قیمت برای مدل های زبانی پیشرفته. ظهور گواناکو، آلپاکاو مدل های دیگر این قطار با کسری از هزینه منجر به گمانه زنی در مورد آینده مدل های گران قیمتی مانند GPT.
با این حال، همه با این دیدگاه خوش بینانه از مدل های منبع باز موافق نیستند. یک مطالعه اخیر توسط دانشگاه کالیفرنیا انجام شده است شک کرده است در مورد قابلیت های مدل هایی مانند آلپاکا و سوالاتی در مورد پتانسیل واقعی آنها مطرح شد. در ابتدا، محققان به نتیجه‌ای مشابه با سازندگان Guanaco رسیدند: زمانی که به درستی آموزش داده شوند، مدل‌های منبع باز می‌توانند رقابت کنند. GPT در قابلیت ها آزمایشات بیشتر یک محدودیت قابل توجه را نشان داد. این مدل‌های «دالی»، همانطور که گاهی اوقات به آنها گفته می‌شود، در تقلید راه‌حل‌هایی برای مشکلاتی که در طول آموزش با آنها مواجه شده‌اند، ماهر هستند. با این حال، آنها در انجام وظایفی که به صراحت در معرض آنها نبوده اند، تلاش می کنند و از مدل های پیشرفته تر عقب می مانند.
این مکاشفه نشان می دهد که میلیون ها دلار در آموزش سرمایه گذاری شده است GPT و مدل های مشابه شاید بیهوده نبوده اند. در حالی که گواناکو و همتایانش نتایج امیدوارکننده‌ای را نشان می‌دهند، هنوز مناطقی وجود دارند که مدل‌های پیچیده‌تر در آنها برتری دارند. شایان ذکر است که تحقیقات انجام شده توسط دانشگاه کالیفرنیا این تصور رایج را به چالش می کشد که مدل های منبع باز می توانند به طور کامل جایگزین مدل های گران قیمتی شوند GPT.
همانطور که حوزه پردازش زبان طبیعی در حال تکامل است، تماشای اینکه چگونه گواناکو و سایر مدل‌های منبع باز در برابر تثبیت شده‌اند، جالب خواهد بود. معیارهایی مانند ChatGPT. نرخ بالای نوآوری و تحقیقات مستمر، بدون تردید، آینده مدل‌های زبانی را تحت تأثیر قرار می‌دهد و تعیین می‌کند که کدام مدل‌ها برای برنامه‌های کاربردی خاص انتخاب شوند.
- Dolly 2.0، اولین منبع باز تجاری 12B Chat-LLM، اعلام شده است توسط Databricks. این یک پیشرفت قابل توجه برای صنعت یادگیری ماشینی است که به کسب و کارها اجازه می دهد تا مدل های زبانی موثری را بدون سرمایه گذاری در کلاسترهای GPU پرهزینه ایجاد کنند. Databricks 5,000 کارمند را برای ایجاد مدل زبان منبع باز خود استخدام کرد که شامل مدل زبان Pythia-12B EleutherAI تحت مجوز MIT بود. Dolly 2.0، و همچنین کد مربوطه، تحت مجوز MIT در دسترس است. Dolly 2.0 پتانسیل تغییر صنعت را دارد و یک گام مهم رو به جلو برای یادگیری ماشین است.
درباره هوش مصنوعی بیشتر بخوانید:
سلب مسئولیت
در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.
درباره نویسنده
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
مقالات بیشتر
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
