OpenAI: การสร้างแบบจำลองรางวัลภายใต้การดูแลกระบวนการใหม่ช่วยปรับปรุงการใช้เหตุผลของ AI
ในบทสรุป
OpenAIการสร้างแบบจำลองรางวัลภายใต้การดูแลกระบวนการ (PRM) มีเป้าหมายเพื่อประเมินขั้นตอนขั้นกลางและการให้เหตุผลของแบบจำลอง AI ซึ่งนำไปสู่การปรับปรุงประสิทธิภาพและเมตริก
OpenAI ได้ดึงดูดความสนใจของชุมชน AI อีกครั้งด้วยผลงานที่ก้าวล้ำในการสร้างแบบจำลองรางวัลภายใต้การดูแลของกระบวนการ (PRMs). แนวทางใหม่นี้มีจุดมุ่งหมายเพื่อประเมินขั้นตอนขั้นกลางและการให้เหตุผลของแบบจำลอง AI ซึ่งนำไปสู่การปรับปรุงประสิทธิภาพและเมตริก
ในการเรียนรู้แบบเสริมแรงแบบดั้งเดิมจากความคิดเห็นของมนุษย์ (อาร์แอลเอชเอฟ) โดยทั่วไปความคิดเห็นของโมเดลจะขึ้นอยู่กับผลลัพธ์โดยรวมที่สร้างโดยโมเดล อย่างไรก็ตาม, OpenAIงานวิจัยใหม่ของสำรวจแนวคิดในการประเมินแต่ละขั้นตอนและกระบวนการให้เหตุผลซึ่งดำเนินการโดยแบบจำลอง เมื่อทำเช่นนั้น พวกเขาสามารถให้การประเมินและข้อเสนอแนะที่ละเอียดยิ่งขึ้น
เพื่อจัดการกับปัญหานี้ OpenAI เลือกปัญหาทางคณิตศาสตร์ที่ต้องใช้การกระทำหลายอย่าง แยกต่างหาก แบบ ได้รับการฝึกอบรมให้ประเมินขั้นตอนขั้นกลางอย่างมีประสิทธิภาพ ทำหน้าที่เป็นนักวิจารณ์เพื่อระบุการตัดสินที่ผิดพลาดของแบบจำลองหลัก กระบวนการนี้ไม่เพียงแต่ปรับปรุงประสิทธิภาพโดยรวม แต่ยังปรับปรุงเมตริกที่ใช้ในการประเมินความสามารถของโมเดลด้วย
OpenAI มีความก้าวหน้าอย่างมากในด้านนี้ ด้วยการเปิดตัวชุดข้อมูลที่คัดสรรมาอย่างพิถีพิถันซึ่งประกอบด้วย 800,000 การตัดสินที่ทำเครื่องหมายไว้. การตัดสินแต่ละครั้งแสดงถึงขั้นตอนที่แยกจากกันในการแก้ปัญหาทางคณิตศาสตร์และสร้างขึ้นด้วยตนเอง สิ่งนี้เน้นให้เห็นถึงระดับความทุ่มเทและทรัพยากร OpenAI ลงทุนในการพัฒนาชุดข้อมูลคุณภาพสูงตั้งคำถามเกี่ยวกับปริมาณข้อมูลที่รวบรวมสำหรับโดเมนอื่นๆ เช่น การเขียนโปรแกรมหรือคำถามปลายเปิด
การฝึกอบรมของ GPT-4, OpenAIการทำซ้ำล่าสุดของ GPT ซีรีส์กำลังดำเนินไปด้วยดีอยู่แล้ว แม้ว่าองค์ประกอบ RLHF จะไม่รวมอยู่ในการทดลองปัจจุบัน แต่มีการใช้แบบจำลองภาษาล้วนๆ โดยเฉพาะอย่างยิ่ง OpenAI ระบุว่ามีหลายเวอร์ชันของ GPT-4แม้กระทั่งรุ่นที่เล็กที่สุดก็ต้องใช้ทรัพยากรน้อยลงอย่างมากสำหรับการฝึกอบรม ซึ่งน้อยกว่าประมาณ 200 เท่า
ตัวอย่างที่น่าสนใจที่แบ่งปันโดย OpenAI แสดงให้เห็นว่าแบบจำลองประเมินอย่างไร ขั้นตอนการตัดสินใจของแต่ละคน ในภาพหน้าจอที่รวมอยู่ในโพสต์ ข้อผิดพลาดในโซลูชันจะถูกตั้งค่าสถานะและให้คะแนนความถูกต้องต่ำสุดซึ่งเน้นด้วยสีแดง การสาธิตนี้เน้นให้เห็นถึงความสามารถของแบบจำลองในการให้เหตุผลและให้ข้อมูลเชิงลึกอันมีค่าในกระบวนการตัดสินใจ OpenAI ยังได้ให้คำแนะนำสำหรับมาร์กอัป เสนอโอกาสให้ฝูงชนมีส่วนร่วมและรับประโยชน์จากงานของพวกเขา
As OpenAI ยังคงผลักดันขอบเขตของการวิจัย AI โดยมุ่งเน้นไปที่การให้เหตุผลของแบบจำลองและการสร้างแบบจำลองรางวัลที่ดูแลโดยกระบวนการ ซึ่งนำมาซึ่งความเป็นไปได้ใหม่ ๆ สำหรับความสามารถ AI ที่ได้รับการปรับปรุง ความก้าวหน้าครั้งล่าสุดนี้แสดงให้เห็นถึงความมุ่งมั่นในการปรับปรุงประสิทธิภาพของโมเดลและเปิดประตูสู่ความก้าวหน้าเพิ่มเติมในด้านนี้
- เมื่อเร็ว ๆ นี้ มีรายงานว่า Apple จำกัดการใช้งานของพนักงาน ChatGPT และแชทบอทที่ขับเคลื่อนด้วย AI อื่นๆ เนื่องจากความกังวลเรื่องความเป็นส่วนตัว The Wall Street Journal รายงานว่าคนงานยังถูกจำกัดไม่ให้ใช้เครื่องมือ AI ของ GitHub Copilot ซึ่ง ช่วยให้ผู้ใช้สามารถเขียนโค้ดซอฟต์แวร์ได้โดยอัตโนมัติ. ChatGPT เป็นแชทบอทที่ขับเคลื่อนด้วย AI ซึ่งพัฒนาโดย OpenAIซึ่งถูกวิจารณ์เรื่องการละเมิดสิทธิส่วนบุคคล
อ่านเพิ่มเติมเกี่ยวกับ AI:
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
บทความอื่น ๆ
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
