OpenAI Sun'iy intellekt modellarini baholash uchun ochiq manbali dasturiy ta'minot ramkasi bo'lgan baholashlarni e'lon qiladi
Qisqacha
OpenAI kabi sun'iy intellekt modellarini baholash uchun kraudsorsing benchmarklariga umid qilmoqda GPT-4.
To'lovlarni qayta ishlash kompaniyasi, Stripe, ularning aniqligini o'lchash uchun Evals-dan allaqachon foydalangan GPT- quvvatlangan hujjatlar vositasi.
OpenAI beradigan bo'ladi GPT-4 yuqori sifatli baholashga hissa qo'shganlar uchun cheklangan vaqt uchun kirish.
E'lon bilan bir qatorda GPT-4, OpenAI ochiq kodli dasturiy ta'minot tizimini e'lon qildi OpenAI Baholar. Ushbu vosita kabi modellarning ishlashini baholovchi mezonlarni yaratish va ishga tushirish uchun mo'ljallangan GPT-4. Evals bilan, OpenAI AI modelini sinab ko'rish uchun kraudsorsing mezonlarini olishga umid qilmoqda.
“Biz Evals’dan modellarimizni ishlab chiqishda yo‘l-yo‘riq ko‘rsatish uchun foydalanamiz (kamchiliklarni aniqlash va regressiyalarning oldini olish) va bizning foydalanuvchilar uni model versiyalari (endi muntazam ravishda chiqariladi) va rivojlanayotgan mahsulot integratsiyasini kuzatish uchun qo‘llashlari mumkin”, deb tushuntiradi kompaniya. a blog post.
Mashhur to'lovlarni qayta ishlash kompaniyasi Stripe o'zining insoniy baholarini to'ldirish va ularning to'g'riligini o'lchash uchun Evals-dan allaqachon foydalangan. GPT- quvvatlangan hujjatlar vositasi.
Ishlab chiquvchilar quyidagi baholashlarni yaratish va ishga tushirish uchun Evals-dan foydalanishlari mumkin:
- Ko'rsatmalar yaratish uchun ma'lumotlar to'plamidan foydalaning,
- tomonidan taqdim etilgan tugatish sifatini o'lchash OpenAI modelva
- Turli ma'lumotlar to'plamlari va modellar bo'yicha unumdorlikni solishtiring.
Ochiq kodli kod yordamida ishlab chiquvchilar ham yozishi va qo'shishi mumkin maxsus baholash shu qatorda; shu bilan birga bir nechta shablonlar turli mezonlarga mos kelishi mumkin. Kompaniya ichkarida eng foydali bo'lgan shablonlarni, jumladan, "namunali baholar" uchun shablonni o'z ichiga olgan. GPT-4 o'z ishini tekshirish uchun foydalanishi mumkin. Misol tariqasida, kompaniya qayerda o'nta so'rovni o'z ichiga olgan mantiqiy boshqotirma bahosini yaratdi GPT-4 bajarilmaydi.
Evals, shuningdek, mavjud mezonlarni amalga oshirish bilan mos keladi, jumladan, akademik mezonlarni amalga oshiradigan bir nechta noutbuklar va CoQA ning kichik kichik to'plamlarini birlashtirishning bir nechta o'zgarishlari.
Ishlab chiquvchilarga Evalsga hissa qo'shganliklari uchun to'lov olinmasa ham, OpenAI beradigan bo'ladi GPT-4 "yuqori sifatli baholash"ga hissa qo'shganlar uchun cheklangan vaqtga kirish.
Evals e'loni keyin keladi OpenAI yaqinda aytgan agar mijozlar qo'shilishga qaror qilmasa, o'z API orqali mijozlar tomonidan taqdim etilgan ma'lumotlardan foydalanishni to'xtatadi, agar mijozlar o'z modellarini o'rgatish yoki takomillashtirishga qaror qilmasalar. Kompaniya Meta-ga kraudsorsing mezonlariga qo'shiladi, chunki oxirgi vazifa odamlarga "hozirgi vaziyatni aldaydigan qarama-qarshi misollarni topish" vazifasini bajaradi. -badiiy modellar” uchun DynaBench platformasi.
Ko'proq o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Sindi jurnalist Metaverse Post, bilan bog'liq mavzularni qamrab oladi web3, NFT, metaverse va AI, bilan suhbatlarga e'tibor qaratiladi Web3 sanoat o'yinchilari. U 30 dan ortiq C darajasidagi rahbarlar bilan suhbatlashdi va ularning qimmatli tushunchalarini o'quvchilarga yetkazdi. Asli Singapurdan bo'lgan Sindi hozirda Gruziyaning Tbilisi shahrida joylashgan. U Janubiy Avstraliya universitetida aloqa va media tadqiqotlari bo‘yicha bakalavr darajasini olgan va jurnalistika va yozuvchilik sohasida o‘n yillik tajribaga ega. orqali u bilan bog'laning [elektron pochta bilan himoyalangan] matbuot maydonchalari, e'lonlar va intervyu imkoniyatlari bilan.
Boshqa maqolalar
Sindi jurnalist Metaverse Post, bilan bog'liq mavzularni qamrab oladi web3, NFT, metaverse va AI, bilan suhbatlarga e'tibor qaratiladi Web3 sanoat o'yinchilari. U 30 dan ortiq C darajasidagi rahbarlar bilan suhbatlashdi va ularning qimmatli tushunchalarini o'quvchilarga yetkazdi. Asli Singapurdan bo'lgan Sindi hozirda Gruziyaning Tbilisi shahrida joylashgan. U Janubiy Avstraliya universitetida aloqa va media tadqiqotlari bo‘yicha bakalavr darajasini olgan va jurnalistika va yozuvchilik sohasida o‘n yillik tajribaga ega. orqali u bilan bog'laning [elektron pochta bilan himoyalangan] matbuot maydonchalari, e'lonlar va intervyu imkoniyatlari bilan.
