مارس 16، 2023

OpenAI Evals را اعلام می کند، یک چارچوب نرم افزاری منبع باز برای ارزیابی مدل های هوش مصنوعی

by سیندی تان

تاریخ انتشار: 16 مارس 2023 ساعت 12:30 بروزرسانی: 16 مارس 2023 ساعت 12:30

به طور خلاصه

OpenAI امیدوار است به جمع‌سپاری معیارهایی برای ارزیابی مدل‌های هوش مصنوعی مانند GPT-4.

شرکت پردازش پرداخت، Stripe، قبلاً از Evals برای اندازه گیری دقت آنها استفاده کرده است GPTابزار مستندسازی قدرتمند

OpenAI اعطا خواهد شد GPT-4 برای مدت محدودی به کسانی که در ارزیابی های با کیفیت بالا مشارکت می کنند دسترسی داشته باشید.

OpenAI Evals را اعلام می کند، یک چارچوب نرم افزاری منبع باز برای ارزیابی مدل های هوش مصنوعی

در کنار اعلامیه GPT-4, OpenAI چارچوب نرم افزار منبع باز را اعلام کرده است OpenAI اوالز. این ابزار برای ایجاد و اجرای معیارهایی طراحی شده است که عملکرد مدل هایی مانند آن را ارزیابی می کند GPT-4. با اوالس، OpenAI امیدوار است که معیارها را برای آزمایش مدل هوش مصنوعی جمع‌سپاری کند.

این شرکت در توضیح می‌دهد: «ما از Evals برای هدایت توسعه مدل‌های خود (هم شناسایی کاستی‌ها و هم جلوگیری از رگرسیون) استفاده می‌کنیم، و کاربران ما می‌توانند آن را برای ردیابی عملکرد در نسخه‌های مدل (که اکنون به طور منظم منتشر می‌شوند) و یکپارچه‌سازی محصول در حال تکامل اعمال کنند». آ پست های وبلاگ.

Stripe، یک شرکت پردازش پرداخت محبوب، قبلاً از Evals برای تکمیل ارزیابی های انسانی خود و اندازه گیری دقت آنها استفاده کرده است. GPTابزار مستندسازی قدرتمند

توسعه دهندگان می توانند از Evals برای ایجاد و اجرای ارزیابی هایی استفاده کنند که:

استفاده از مجموعه داده ها برای ایجاد دستورات،
اندازه گیری کیفیت تکمیل ارائه شده توسط یک OpenAI مدلو
مقایسه عملکرد در مجموعه داده ها و مدل های مختلف.

با کد منبع باز، توسعه دهندگان همچنین می توانند بنویسند و اضافه کنند اوال سفارشی همچنین چندین الگو که ممکن است معیارهای مختلفی را در خود جای دهد. این شرکت قالب هایی را در نظر گرفته است که در داخل بسیار مفید بوده اند، از جمله یک الگو برای "مقایسه با درجه بندی مدل"، که GPT-4 می تواند برای بررسی کار خود استفاده کند. به عنوان مثالی برای دنبال کردن، این شرکت یک ارزش پازل منطقی حاوی ده فرمان ایجاد کرده است GPT-4 شکست می خورد

Evals همچنین با اجرای معیارهای موجود سازگار است، از جمله چندین نوت بوک که معیارهای آکادمیک را پیاده سازی می کنند و چند تنوع از یکپارچه سازی زیر مجموعه های کوچک CoQA.

در حالی که توسعه دهندگان برای مشارکت در Evals پولی دریافت نمی کنند، OpenAI اعطا خواهد شد GPT-4 دسترسی برای مدت محدودی به کسانی که در «ارزش‌های با کیفیت بالا» مشارکت می‌کنند.

اعلام Evals پس از آن منتشر می شود OpenAI اخیرا گفت: این شرکت استفاده از داده‌های ارسال شده توسط مشتریان از طریق API خود را برای آموزش یا بهبود مدل‌های خود متوقف می‌کند، مگر اینکه مشتریان تصمیم به شرکت در آن داشته باشند. این شرکت در معیارهای جمع‌سپاری به Meta می‌پیوندد، زیرا دومی انسان‌ها را با «پیدا کردن نمونه‌های متخاصم که وضعیت فعلی را فریب می‌دهند، ملحق می‌کند». مدل‌های هنری» برای آن DynaBench پلت فرم.

ادامه مطلب:

برچسب ها:

سلب مسئولیت

در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.

درباره نویسنده

سیندی یک روزنامه نگار در Metaverse Post، پوشش موضوعات مرتبط با web3, NFT، متاورس و هوش مصنوعی، با تمرکز بر مصاحبه با Web3 بازیگران صنعت او با بیش از 30 مدیر اجرایی در سطح C صحبت کرده است و بینش ارزشمند آنها را برای خوانندگان به ارمغان آورده است. سیندی که اصالتاً اهل سنگاپور است، اکنون در تفلیس، گرجستان مستقر است. او دارای مدرک لیسانس در مطالعات ارتباطات و رسانه از دانشگاه استرالیای جنوبی است و یک دهه تجربه در روزنامه نگاری و نویسندگی دارد. از طریق با او در تماس باشید [ایمیل محافظت شده] با میزهای مطبوعاتی، اطلاعیه ها و فرصت های مصاحبه.

مقالات بیشتر

سیندی تان