โมเดลภาษาขนาดใหญ่ในปัจจุบันจะเป็นโมเดลขนาดเล็ก ตามที่นักวิจัยที่ OpenAI
Hyung Won Chung นักวิจัยด้าน AI ที่ประสบความสำเร็จ ซึ่งก่อนหน้านี้เคยร่วมงานกับ Google Brain และปัจจุบันเป็นสมาชิกของ OpenAI ทีมงานได้กล่าวสุนทรพจน์กระตุ้นความคิดความยาว 45 นาที โดยเขาได้สำรวจโลกของแบบจำลองภาษาขนาดใหญ่ในปี 2023 ชุงมีประสบการณ์ในสาขานี้ เขาเป็นผู้เขียนบทความของ Google คนแรก”การปรับขนาดคำสั่ง-โมเดลภาษาที่ได้รับการปรับแต่งอย่างละเอียด” ซึ่งจะตรวจสอบว่าโมเดลภาษาขนาดใหญ่สามารถฝึกให้ทำตามคำแนะนำได้อย่างไร
Chung เน้นย้ำถึงโลกของแบบจำลองภาษาที่กว้างขวางว่าเป็นแบบไดนามิก ในโลกของ LLM หลักการชี้นำมีการพัฒนาอยู่ตลอดเวลา ตรงกันข้ามกับสาขาแบบดั้งเดิมที่สมมติฐานพื้นฐานยังคงมีเสถียรภาพ ด้วยโมเดลรุ่นต่อๆ ไป สิ่งที่คิดว่าเป็นไปไม่ได้หรือทำไม่ได้ในปัจจุบันอาจกลายเป็นสิ่งที่เป็นไปได้ เขาเน้นย้ำถึงความสำคัญของการกล่าวอ้างส่วนใหญ่เกี่ยวกับความสามารถของ LLM ด้วยคำว่า "สำหรับตอนนี้" โมเดลสามารถทำงานได้ มันก็ยังไม่ได้ทำ
รุ่นใหญ่ในปัจจุบันจะเป็นรุ่นเล็กในอีกไม่กี่ปีข้างหน้า
ฮยอน วอน ชุง, OpenAI
ความจำเป็นในการจัดทำเอกสารที่พิถีพิถันและการทำซ้ำใน การวิจัย AI เป็นหนึ่งในบทเรียนที่สำคัญที่สุดที่ต้องเรียนรู้จากสุนทรพจน์ของชุง จำเป็นอย่างยิ่งที่จะต้องบันทึกงานที่กำลังดำเนินอยู่อย่างละเอียดในขณะที่ภาคสนามมีการพัฒนา กลยุทธ์นี้รับประกันว่าการทดลองสามารถทำซ้ำและกลับมาเยี่ยมชมซ้ำได้อย่างรวดเร็ว ช่วยให้นักวิจัยต่อยอดงานก่อนหน้านี้ได้ จากการฝึกปฏิบัตินี้ เป็นที่ทราบกันว่าความสามารถอาจพัฒนาขึ้นในอนาคตซึ่งไม่สามารถนำมาใช้ได้จริงในระหว่างการวิจัยเบื้องต้น
Chung อุทิศส่วนหนึ่งของการบรรยายเพื่อชี้แจงความซับซ้อนของข้อมูลและความเท่าเทียมของแบบจำลอง สำหรับผู้ที่สนใจเจาะลึกด้านเทคนิคของ AI ส่วนนี้ให้ข้อมูลเชิงลึกอันมีค่าเกี่ยวกับการทำงานภายในของเทคนิคความเท่าเทียมเหล่านี้ การทำความเข้าใจกลไกเหล่านี้เป็นสิ่งสำคัญสำหรับการเพิ่มประสิทธิภาพ การฝึกโมเดลขนาดใหญ่.
Chung ตั้งข้อสังเกตว่าฟังก์ชันวัตถุประสงค์ในปัจจุบัน ซึ่งก็คือความน่าจะเป็นสูงสุด ซึ่งใช้สำหรับการฝึกอบรมล่วงหน้าของ LLM นั้นเป็นคอขวดในการบรรลุสเกลขนาดใหญ่อย่างแท้จริง เช่น ความจุ 10,000 เท่าของ GPT-4. เมื่อแมชชีนเลิร์นนิงดำเนินไป ฟังก์ชันการสูญเสียที่ออกแบบด้วยตนเองจะมีข้อจำกัดมากขึ้น
Chung แนะนำว่ากระบวนทัศน์ถัดไปในการพัฒนา AI เกี่ยวข้องกับฟังก์ชันการเรียนรู้ผ่านอัลกอริธึมที่แยกจากกัน แนวทางนี้แม้จะยังอยู่ในช่วงเริ่มต้น แต่ก็ยังมีแนวโน้มว่าจะขยายขีดความสามารถได้เกินกว่าข้อจำกัดในปัจจุบัน นอกจากนี้เขายังเน้นย้ำถึงความพยายามอย่างต่อเนื่อง เช่น การเรียนรู้เสริมแรงจากผลตอบรับของมนุษย์ (RLHF) ด้วยการสร้างแบบจำลองกฎ ซึ่งเป็นขั้นตอนในทิศทางนี้ แม้ว่าความท้าทายจะยังคงต้องเอาชนะก็ตาม
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
บทความอื่น ๆ
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
