OpenAI تعلن عن Evals ، إطار عمل برمجي مفتوح المصدر لتقييم نماذج الذكاء الاصطناعي
في سطور
OpenAI تأمل في الحصول على معايير جماعية لتقييم نماذج الذكاء الاصطناعي مثل GPT-4.
استخدمت شركة معالجة الدفع Stripe بالفعل Evas لقياس دقة عمليات الدفع الخاصة بها GPT-أداة توثيق مدعومة.
OpenAI سيتم منح GPT-4 الوصول لفترة محدودة لأولئك الذين يساهمون بتقييمات عالية الجودة.
إلى جانب إعلان GPT-4, OpenAI أعلن عن إطار عمل البرمجيات مفتوحة المصدر OpenAI التقييمات. تم تصميم هذه الأداة لإنشاء وتشغيل معايير لتقييم أداء النماذج مثل GPT-4. مع التقييمات، OpenAI تأمل في التعهيد الجماعي لمعايير اختبار نموذج الذكاء الاصطناعي.
توضح الشركة في أ بلوق وظيفة.
لقد استخدمت Stripe، وهي شركة مشهورة لمعالجة المدفوعات، بالفعل Evals لاستكمال تقييماتها البشرية وقياس دقة تلك التقييمات GPT-أداة توثيق مدعومة.
يمكن للمطورين استخدام Evals لإنشاء وتشغيل التقييمات التي:
- استخدم مجموعات البيانات لإنشاء مطالبات ،
- قم بقياس جودة الإكمالات المقدمة من قبل أ OpenAI نموذجو
- قارن الأداء عبر مجموعات البيانات والنماذج المختلفة.
باستخدام التعليمات البرمجية مفتوحة المصدر ، يمكن للمطورين أيضًا كتابة وإضافة ملف تقييم مخصص وأيضا عدة قوالب التي قد تستوعب معايير مختلفة. قامت الشركة بتضمين قوالب كانت مفيدة للغاية داخليًا، بما في ذلك نموذج "التقييمات المتدرجة للنموذج"، والتي GPT-4 يمكن استخدامها للتحقق من عملها. وكمثال يحتذى به، أنشأت الشركة تقييمًا للألغاز المنطقية يحتوي على عشرة مطالبات حيث GPT-4 فشل.
تتوافق Evals أيضًا مع تنفيذ المعايير الحالية ، بما في ذلك العديد من أجهزة الكمبيوتر المحمولة التي تطبق المعايير الأكاديمية وبعض الاختلافات في دمج مجموعات فرعية صغيرة من CoQA.
بينما لن يتم الدفع للمطورين مقابل المساهمة بـ Evals ، OpenAI سيتم منح GPT-4 الوصول لفترة محدودة لأولئك الذين يساهمون "بتقييمات عالية الجودة".
يأتي إعلان Evals بعد ذلك OpenAI وقال مؤخرا ستتوقف عن استخدام البيانات المقدمة من العملاء عبر واجهة برمجة التطبيقات الخاصة بها لتدريب نماذجها أو تحسينها ما لم يقرر العملاء الاشتراك. تنضم الشركة إلى Meta في معايير التعهيد الجماعي حيث تقوم الأخيرة بتكليف البشر "بإيجاد أمثلة معادية تخدع الحالة الحالية -نماذج "لأعمالها دينابينش .
اقرأ أكثر:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
سيندي صحفية في Metaverse Post، تغطي الموضوعات المتعلقة بـ web3, NFT، metaverse و AI ، مع التركيز على المقابلات مع Web3 لاعبين الصناعة. لقد تحدثت إلى أكثر من 30 مديرًا تنفيذيًا على مستوى C وما زال العدد في ازدياد، حيث قدمت أفكارهم القيمة للقراء. أصلها من سنغافورة، وتقيم سيندي الآن في تبليسي، جورجيا. حصلت على درجة البكالوريوس في الاتصالات والدراسات الإعلامية من جامعة جنوب أستراليا ولديها عشر سنوات من الخبرة في الصحافة والكتابة. تواصل معها عبر [البريد الإلكتروني محمي] مع المداخلات الصحفية والإعلانات وفرص المقابلات.
المزيد من المقالات
سيندي صحفية في Metaverse Post، تغطي الموضوعات المتعلقة بـ web3, NFT، metaverse و AI ، مع التركيز على المقابلات مع Web3 لاعبين الصناعة. لقد تحدثت إلى أكثر من 30 مديرًا تنفيذيًا على مستوى C وما زال العدد في ازدياد، حيث قدمت أفكارهم القيمة للقراء. أصلها من سنغافورة، وتقيم سيندي الآن في تبليسي، جورجيا. حصلت على درجة البكالوريوس في الاتصالات والدراسات الإعلامية من جامعة جنوب أستراليا ولديها عشر سنوات من الخبرة في الصحافة والكتابة. تواصل معها عبر [البريد الإلكتروني محمي] مع المداخلات الصحفية والإعلانات وفرص المقابلات.
