OpenAI Mengumumkan Evals, Rangka Kerja Perisian Sumber Terbuka untuk Menilai Model AI
Secara ringkas
OpenAI berharap dapat mengumpulkan tanda aras untuk menilai model AI seperti GPT-4.
Syarikat pemprosesan pembayaran, Stripe, telah menggunakan Evals untuk mengukur ketepatan mereka GPT-alat dokumentasi berkuasa.
OpenAI akan memberi GPT-4 akses untuk masa yang terhad kepada mereka yang menyumbang eval berkualiti tinggi.
Bersamaan dengan pengumuman GPT-4, OpenAI telah mengumumkan rangka kerja perisian sumber terbuka OpenAI Evals. Alat ini direka bentuk untuk mencipta dan menjalankan penanda aras yang menilai prestasi model seperti GPT-4. Dengan Evals, OpenAI berharap dapat mengumpulkan tanda aras untuk ujian model AI.
"Kami menggunakan Evals untuk membimbing pembangunan model kami (kedua-duanya mengenal pasti kelemahan dan mencegah regresi), dan pengguna kami boleh menggunakannya untuk menjejak prestasi merentas versi model (yang kini akan keluar secara tetap) dan integrasi produk yang berkembang," jelas syarikat itu dalam a blog post.
Stripe, sebuah syarikat pemprosesan pembayaran yang popular, telah menggunakan Evals untuk melengkapkan penilaian manusianya dan mengukur ketepatan GPT-alat dokumentasi berkuasa.
Pembangun boleh menggunakan Evals untuk membuat dan menjalankan penilaian yang:
- Gunakan set data untuk menjana gesaan,
- Ukur kualiti penyiapan yang disediakan oleh an OpenAI model, dan
- Bandingkan prestasi merentas set data dan model yang berbeza.
Dengan kod sumber terbuka, pembangun juga boleh menulis dan menambah a tersuai Eval serta beberapa templat yang boleh menampung penanda aras yang berbeza. Syarikat itu telah memasukkan templat yang paling berguna secara dalaman, termasuk templat untuk "eval berperingkat model", yang GPT-4 boleh gunakan untuk menyemak kerja sendiri. Sebagai contoh untuk diikuti, syarikat telah mencipta teka-teki logik eval yang mengandungi sepuluh gesaan di mana GPT-4 gagal.
Evals juga serasi dengan melaksanakan penanda aras sedia ada, termasuk beberapa buku nota yang melaksanakan penanda aras akademik dan beberapa variasi menyepadukan subset kecil CoQA.
Walaupun pemaju tidak akan dibayar untuk menyumbang Evals, OpenAI akan memberi GPT-4 akses untuk masa yang terhad kepada mereka yang menyumbang "eval berkualiti tinggi."
Pengumuman Evals datang selepas itu OpenAI baru-baru ini berkata ia akan berhenti menggunakan data yang diserahkan oleh pelanggan melalui APInya untuk melatih atau menambah baik modelnya melainkan pelanggan memutuskan untuk mengikut serta. Syarikat itu menyertai Meta dalam penanda aras penyumberan ramai kerana yang terakhir menugaskan manusia "mencari contoh musuh yang memperdayakan keadaan semasa -model seni” untuknya DynaBench platform.
Baca lebih lanjut:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Cindy ialah seorang wartawan di Metaverse Post, meliputi topik yang berkaitan dengan web3, NFT, metaverse dan AI, dengan tumpuan pada temu bual dengan Web3 pemain industri. Dia telah bercakap dengan lebih 30 eksekutif peringkat C dan masih lagi, membawa cerapan berharga mereka kepada pembaca. Berasal dari Singapura, Cindy kini berpangkalan di Tbilisi, Georgia. Beliau memegang ijazah Sarjana Muda dalam Komunikasi & Pengajian Media dari University of South Australia dan mempunyai pengalaman sedekad dalam kewartawanan dan penulisan. Hubungi dia melalui [e-mel dilindungi] dengan padang akhbar, pengumuman dan peluang temu duga.
lebih banyak artikel
Cindy ialah seorang wartawan di Metaverse Post, meliputi topik yang berkaitan dengan web3, NFT, metaverse dan AI, dengan tumpuan pada temu bual dengan Web3 pemain industri. Dia telah bercakap dengan lebih 30 eksekutif peringkat C dan masih lagi, membawa cerapan berharga mereka kepada pembaca. Berasal dari Singapura, Cindy kini berpangkalan di Tbilisi, Georgia. Beliau memegang ijazah Sarjana Muda dalam Komunikasi & Pengajian Media dari University of South Australia dan mempunyai pengalaman sedekad dalam kewartawanan dan penulisan. Hubungi dia melalui [e-mel dilindungi] dengan padang akhbar, pengumuman dan peluang temu duga.
