วิวัฒนาการของ Chatbots จากยุค T9 และ GPT-1 ไปยัง ChatGPT
เมื่อเร็ว ๆ นี้ เราถูกถล่มเกือบทุกวันด้วยโพสต์ข่าวเกี่ยวกับสถิติล่าสุดที่ถูกทำลายโดยโครงข่ายประสาทเทียมขนาดใหญ่ และเหตุใดจึงไม่มีใครมีงานทำที่ปลอดภัย อย่างไรก็ตาม มีคนเพียงไม่กี่คนที่รู้ว่าโครงข่ายประสาทเทียมเป็นอย่างไร ChatGPT ใช้งานได้จริง
ดังนั้นผ่อนคลาย อย่าเพิ่งคร่ำครวญถึงโอกาสในการทำงานของคุณ ในโพสต์นี้ เราจะอธิบายทุกสิ่งที่ควรรู้เกี่ยวกับโครงข่ายประสาทเทียมในแบบที่ทุกคนสามารถเข้าใจได้
ข้อแม้ก่อนที่เราจะเริ่มต้น: งานชิ้นนี้เป็นการทำงานร่วมกัน ส่วนทางเทคนิคทั้งหมดเขียนขึ้นโดยผู้เชี่ยวชาญ AI ซึ่งเป็นที่รู้จักในหมู่กลุ่ม AI
เนื่องจากยังไม่มีใครเขียนบทความเชิงลึกเกี่ยวกับวิธีการ ChatGPT งานที่จะอธิบายในแง่ของคนธรรมดาถึงความลึกหนาบางของโครงข่ายประสาทเทียม เราตัดสินใจทำสิ่งนี้เพื่อคุณ เราได้พยายามทำให้โพสต์นี้เรียบง่ายที่สุดเท่าที่จะเป็นไปได้ เพื่อให้ผู้อ่านสามารถออกจากการอ่านโพสต์นี้ด้วยความเข้าใจทั่วไปเกี่ยวกับหลักการของเครือข่ายประสาทภาษา เราจะสำรวจวิธีการ โมเดลภาษา ทำงานที่นั่น โครงข่ายประสาทเทียมวิวัฒนาการจนมีความสามารถในปัจจุบันได้อย่างไร และเพราะเหตุใด ChatGPTความนิยมที่ระเบิดได้ทำให้ผู้สร้างประหลาดใจ
เริ่มจากพื้นฐานกันก่อน เข้าใจไหม ChatGPT จากมุมมองทางเทคนิค เราต้องเข้าใจก่อนว่าอะไรไม่ใช่ นี่ไม่ใช่ Jarvis จาก Marvel Comics; มันไม่ใช่สิ่งมีชีวิตที่มีเหตุผล มันไม่ใช่มาร เตรียมตกใจ: ChatGPT จริงๆ แล้วมันคือ T9 ในมือถือของคุณบนสเตียรอยด์! ใช่แล้ว: นักวิทยาศาสตร์เรียกเทคโนโลยีทั้งสองนี้ว่า “แบบจำลองทางภาษา” โครงข่ายประสาทเทียมทั้งหมดทำได้เพียงเดาว่าคำใดควรมาต่อไป
เทคโนโลยี T9 ดั้งเดิมจะเร่งความเร็วการโทรออกของโทรศัพท์แบบปุ่มกดโดยการเดาอินพุตปัจจุบันแทนคำถัดไป อย่างไรก็ตาม ความก้าวหน้าทางเทคโนโลยีและในยุคของสมาร์ทโฟนในช่วงต้นปี 2010 ทำให้สามารถพิจารณาบริบทและคำก่อนหน้า เพิ่มเครื่องหมายวรรคตอน และนำเสนอคำที่เลือกได้ในอนาคต นั่นคือการเปรียบเทียบที่เรากำลังทำกับ T9 เวอร์ชัน "ขั้นสูง" หรือการแก้ไขอัตโนมัติ
เป็นผลให้ทั้ง T9 บนแป้นพิมพ์สมาร์ทโฟนและ ChatGPT ได้รับการฝึกฝนให้แก้ปัญหาง่ายๆ ที่น่าขัน: ทำนายคำถัดไป สิ่งนี้เรียกว่า "การสร้างแบบจำลองภาษา" และเกิดขึ้นเมื่อมีการตัดสินใจเกี่ยวกับสิ่งที่ควรเขียนต่อไปตามข้อความที่มีอยู่ แบบจำลองภาษาต้องทำงานบนความน่าจะเป็นของคำเฉพาะ เพื่อทำการทำนายดังกล่าว ท้ายที่สุด คุณคงรู้สึกรำคาญหากการป้อนข้อความอัตโนมัติของโทรศัพท์ทำให้คุณสุ่มคำโดยมีความน่าจะเป็นเท่าๆ กัน
เพื่อความชัดเจน สมมติว่าคุณได้รับข้อความจากเพื่อน มันเขียนว่า: "คุณมีแผนอย่างไรสำหรับค่ำคืนนี้" ในการตอบสนอง คุณเริ่มพิมพ์: “ฉันจะไป…” และนี่คือที่มาของ T9 ซึ่งอาจมาพร้อมกับสิ่งที่ไร้สาระโดยสิ้นเชิง เช่น “ฉันจะไปดวงจันทร์” โดยไม่จำเป็นต้องใช้รูปแบบภาษาที่ซับซ้อน โมเดลเติมข้อความอัตโนมัติของสมาร์ทโฟนที่ดีจะแนะนำคำที่เกี่ยวข้องมากกว่า
แล้ว T9 รู้ได้อย่างไรว่าคำใดมีแนวโน้มที่จะตามหลังข้อความที่พิมพ์ไปแล้ว และคำใดที่ไม่สมเหตุสมผลอย่างชัดเจน เพื่อตอบคำถามนี้ ก่อนอื่นเราต้องตรวจสอบหลักการทำงานขั้นพื้นฐานของสิ่งที่ง่ายที่สุด เครือข่ายประสาทเทียม.
โมเดล AI ทำนายคำถัดไปอย่างไร
ให้เราเริ่มด้วยคำถามที่ง่ายกว่า: คุณจะทำนายการพึ่งพาซึ่งกันและกันของบางสิ่งกับสิ่งอื่นได้อย่างไร? สมมติว่าเราต้องการสอนคอมพิวเตอร์ให้ทำนายน้ำหนักของบุคคลตามส่วนสูง - เราควรทำอย่างไร? อันดับแรก เราควรระบุพื้นที่ที่สนใจ จากนั้นจึงรวบรวมข้อมูลที่จะค้นหาการขึ้นต่อกันของความสนใจ จากนั้นจึงพยายาม “ฝึก” แบบจำลองทางคณิตศาสตร์ เพื่อค้นหารูปแบบภายในข้อมูลนี้
พูดง่ายๆ ก็คือ T9 หรือ ChatGPT เป็นเพียงสมการที่เลือกอย่างชาญฉลาดที่พยายาม คาดการณ์ คำ (Y) ตามชุดของคำก่อนหน้า (X) ที่ป้อนเข้าสู่อินพุตโมเดล เมื่อฝึกก แบบจำลองภาษา ในชุดข้อมูล ภารกิจหลักคือการเลือกค่าสัมประสิทธิ์สำหรับ x เหล่านี้ที่สะท้อนถึงการพึ่งพาอาศัยกันอย่างแท้จริง (ดังตัวอย่างของเราเกี่ยวกับส่วนสูงและน้ำหนัก) และด้วยโมเดลขนาดใหญ่ เราจะเข้าใจได้ดีขึ้นเกี่ยวกับโมเดลที่มีพารามิเตอร์จำนวนมาก ในด้าน ปัญญาประดิษฐ์พวกเขาจะเรียกว่าโมเดลภาษาขนาดใหญ่หรือเรียกสั้นๆ ว่า LLM ดังที่เราจะได้เห็นในภายหลัง โมเดลขนาดใหญ่ที่มีพารามิเตอร์จำนวนมากเป็นสิ่งจำเป็นสำหรับการสร้างข้อความที่ดี
อย่างไรก็ตาม หากคุณสงสัยว่าทำไมเราถึงพูดถึง "การคาดเดาคำถัดไป" อยู่ตลอดเวลา ChatGPT ตอบกลับอย่างรวดเร็วด้วยข้อความทั้งย่อหน้า คำตอบนั้นง่าย แน่นอนว่า โมเดลภาษาสามารถสร้างข้อความยาวๆ ได้โดยไม่ยาก แต่กระบวนการทั้งหมดจะเป็นแบบคำต่อคำ หลังจากสร้างคำใหม่แต่ละคำ โมเดลจะเรียกใช้ข้อความทั้งหมดอีกครั้งพร้อมกับคำใหม่เพื่อสร้างคำถัดไป กระบวนการนี้ซ้ำแล้วซ้ำอีกจนกว่าคุณจะได้รับคำตอบทั้งหมด
| เพิ่มเติม: ChatGPT อาจทำให้มนุษย์เสื่อมถอยอย่างถาวร |
เหตุใดเราจึงพยายามค้นหาคำที่ 'ถูกต้อง' สำหรับข้อความที่กำหนด
โมเดลภาษาพยายามทำนายความน่าจะเป็นของคำต่างๆ ที่อาจเกิดขึ้นในข้อความที่กำหนด เหตุใดจึงจำเป็น และเหตุใดคุณจึงมองหาคำที่ "ถูกต้องที่สุด" ต่อไปไม่ได้ มาลองเล่นเกมง่ายๆ เพื่อแสดงให้เห็นว่ากระบวนการนี้ทำงานอย่างไร
กฎมีดังนี้: ฉันเสนอให้คุณพูดประโยคต่อไป: "ประธานาธิบดีคนที่ 44 ของสหรัฐอเมริกา (และชาวแอฟริกันอเมริกันคนแรกในตำแหน่งนี้) คือบารัค ... " ต่อไปควรไปคำไหน? ความน่าจะเป็นที่จะเกิดขึ้นคืออะไร?
หากคุณคาดการณ์ด้วยความมั่นใจ 100% ว่าคำถัดไปจะเป็น "โอบามา" คุณคิดผิด! และประเด็นไม่ได้อยู่ที่ว่ามี Barak ในตำนานอีกตนหนึ่ง มันเป็นเรื่องเล็กน้อยมากขึ้น เอกสารราชการมักใช้ชื่อเต็มของประธานาธิบดี ซึ่งหมายความว่าสิ่งที่ตามหลังชื่อของโอบามาจะเป็นชื่อกลางของเขา ฮุสเซน ดังนั้นในประโยคของเรา โมเดลภาษาที่ได้รับการฝึกฝนอย่างถูกต้องควรทำนายว่า "โอบามา" จะเป็นคำถัดไปโดยมีความน่าจะเป็นแบบมีเงื่อนไข 90% เท่านั้น และจัดสรรส่วนที่เหลืออีก 10% หากข้อความต่อโดย "ฮุสเซน" (หลังจากนั้นโอบามาจะ ตามมาด้วยความน่าจะเป็นเกือบ 100%)
และตอนนี้เรามาถึงแง่มุมที่น่าสนใจของโมเดลภาษา: พวกมันไม่มีภูมิคุ้มกันต่อลายเส้นที่สร้างสรรค์! ในความเป็นจริง เมื่อสร้างคำถัดไปแต่ละคำ แบบจำลองดังกล่าวจะเลือกคำนั้นในลักษณะ "สุ่ม" ราวกับการโยนลูกเต๋า ความน่าจะเป็นของคำว่า "ตกหล่น" ต่างๆ นั้นสอดคล้องกับความน่าจะเป็นที่แนะนำโดยสมการที่ใส่ไว้ในแบบจำลองไม่มากก็น้อย สิ่งเหล่านี้ได้มาจากข้อความต่าง ๆ มากมายที่โมเดลป้อนเข้ามา
ปรากฎว่าแบบจำลองสามารถตอบสนองต่อคำขอเดียวกันได้แตกต่างกัน เช่นเดียวกับคนที่มีชีวิต โดยทั่วไปแล้ว นักวิจัยพยายามบังคับให้เซลล์ประสาทเลือกคำถัดไปที่ "น่าจะเป็นไปได้มากที่สุด" เสมอ แต่แม้ว่าภายนอกจะดูมีเหตุผล แต่แบบจำลองดังกล่าวกลับทำงานได้แย่กว่าในความเป็นจริง ดูเหมือนว่าการสุ่มในปริมาณที่เหมาะสมจะเป็นประโยชน์เนื่องจากเพิ่มความแปรปรวนและคุณภาพของคำตอบ
ภาษาของเรามีโครงสร้างที่เป็นเอกลักษณ์พร้อมกฎและข้อยกเว้นที่แตกต่างกัน มีสัมผัสและเหตุผลสำหรับคำที่ปรากฏในประโยค คำเหล่านี้ไม่ได้เกิดขึ้นโดยสุ่ม ทุกคนเรียนรู้กฎของภาษาที่พวกเขาใช้ในช่วงต้นปีการศึกษาโดยไม่รู้ตัว
แบบจำลองที่ดีควรคำนึงถึงคำอธิบายที่หลากหลายของภาษา ของรุ่น ความสามารถในการสร้างผลลัพธ์ที่ต้องการ ขึ้นอยู่กับความแม่นยำในการคำนวณความน่าจะเป็นของคำตามรายละเอียดปลีกย่อยของบริบท (ส่วนก่อนหน้าของข้อความอธิบายสถานการณ์)
สรุป: โมเดลภาษาอย่างง่าย ซึ่งเป็นชุดของสมการที่ได้รับการฝึกฝนจากข้อมูลจำนวนมหาศาลเพื่อทำนายคำถัดไปโดยอิงตามข้อความต้นฉบับที่ป้อนเข้า ได้ถูกนำไปใช้ในฟังก์ชัน “T9/ป้อนอัตโนมัติ” ของสมาร์ทโฟนตั้งแต่ต้นปี 2010
GPT-1: ระเบิดวงการ
ย้ายออกจากรุ่น T9 กันเถอะ ในขณะที่คุณอาจจะกำลังอ่านบทความนี้ไป เรียนรู้เกี่ยวกับ ChatGPTก่อนอื่นเราต้องมาพูดถึงจุดเริ่มต้นของการ GPT ครอบครัวตัวอย่าง
GPT ย่อมาจาก “หม้อแปลงไฟฟ้าที่ผ่านการฝึกอบรมล่วงหน้าแบบเจนเนอเรชั่น” ในขณะที่ สถาปัตยกรรมโครงข่ายประสาทเทียมที่พัฒนาโดยวิศวกรของ Google ในปี 2017 เป็นที่รู้จักกันในชื่อ Transformer Transformer เป็นกลไกการคำนวณแบบสากลที่ยอมรับชุดของลำดับ (ข้อมูล) เป็นอินพุตและสร้างชุดของลำดับเดียวกันแต่อยู่ในรูปแบบที่แตกต่างกันซึ่งถูกดัดแปลงโดยอัลกอริทึมบางอย่าง
ความสำคัญของการสร้าง Transformer นั้นสามารถเห็นได้จากการนำไปใช้อย่างจริงจังและนำไปใช้ในทุกแขนงของปัญญาประดิษฐ์ (AI): การแปล ภาพ เสียง และการประมวลผลวิดีโอ ภาคส่วนปัญญาประดิษฐ์ (AI) มีการสั่นคลอนที่ทรงพลัง โดยย้ายจากสิ่งที่เรียกว่า “ความซบเซาของ AI” ไปสู่การพัฒนาอย่างรวดเร็วและการเอาชนะความซบเซา
จุดเด่นที่สำคัญของ Transformer ประกอบด้วยโมดูลที่ปรับขนาดได้ง่าย เมื่อระบบขอให้ประมวลผลข้อความจำนวนมากในคราวเดียว โมเดลภาษาก่อนทรานส์ฟอร์มเมอร์แบบเก่าจะทำงานช้าลง ในทางกลับกัน Transformer Neural Networks จัดการงานนี้ได้ดีกว่ามาก
ในอดีต ข้อมูลป้อนเข้าต้องได้รับการประมวลผลตามลำดับหรือทีละรายการ แบบจำลองจะไม่เก็บข้อมูล: หากทำงานกับการเล่าเรื่องแบบหนึ่งหน้า แบบจำลองจะลืมข้อความหลังจากอ่าน ในขณะเดียวกัน Transformer ช่วยให้สามารถดูทุกอย่างพร้อมกันได้ การผลิต ผลลัพธ์ที่น่าทึ่งกว่าอย่างเห็นได้ชัด
นี่คือสิ่งที่ทำให้มีความก้าวหน้าในการประมวลผลข้อความโดยโครงข่ายประสาทเทียม ด้วยเหตุนี้ โมเดลจึงไม่ลืมอีกต่อไป: นำเนื้อหาที่เขียนไว้ก่อนหน้านี้กลับมาใช้ใหม่ เข้าใจบริบทได้ดีขึ้น และที่สำคัญที่สุดคือสามารถสร้างการเชื่อมต่อระหว่างข้อมูลปริมาณมากโดยการจับคู่คำเข้าด้วยกัน
สรุป: GPT-1ซึ่งเปิดตัวในปี 2018 แสดงให้เห็นว่าโครงข่ายประสาทเทียมสามารถสร้างข้อความโดยใช้การออกแบบ Transformer ซึ่งได้รับการปรับปรุงความสามารถในการปรับขนาดและประสิทธิภาพได้อย่างมาก หากเป็นไปได้ที่จะเพิ่มปริมาณและความซับซ้อนของแบบจำลองภาษา สิ่งนี้จะทำให้เกิดปริมาณสำรองที่มาก
GPT-2: ยุคของโมเดลภาษาขนาดใหญ่
โมเดลภาษาไม่จำเป็นต้องติดแท็กเป็นพิเศษล่วงหน้า และสามารถ "ป้อน" ด้วยข้อมูลที่เป็นข้อความได้ ทำให้มีความยืดหยุ่นอย่างมาก หากคุณลองคิดดู มันก็สมเหตุสมผลที่เราจะใช้ความสามารถของมัน ข้อความใด ๆ ที่เคยเขียนทำหน้าที่เป็นข้อมูลการฝึกอบรมสำเร็จรูป เนื่องจากมีลำดับประเภท "หลายคำและวลีจำนวนมาก => คำถัดไปหลังจากนั้น" จึงไม่น่าแปลกใจ
โปรดจำไว้ว่าเทคโนโลยี Transformers ได้ทำการทดสอบแล้ว GPT-1 ได้รับการพิสูจน์แล้วว่าประสบความสำเร็จในแง่ของการปรับขนาด: มีประสิทธิภาพมากกว่ารุ่นก่อนมากในการจัดการข้อมูลปริมาณมาก ปรากฎว่านักวิจัยจาก OpenAI ได้ข้อสรุปเดียวกันในปี 2019: “ถึงเวลาลดโมเดลภาษาราคาแพงแล้ว!”
พื้นที่ ชุดข้อมูลการฝึกอบรมและแบบจำลอง โดยเฉพาะอย่างยิ่งขนาดที่ถูกเลือกให้เป็นสองประเด็นสำคัญที่ GPT-2 จำเป็นต้องได้รับการปรับปรุงอย่างมาก
เนื่องจากในขณะนั้นไม่มีชุดข้อมูลข้อความสาธารณะขนาดใหญ่คุณภาพสูงที่ออกแบบมาโดยเฉพาะสำหรับโมเดลภาษาการฝึกอบรม ทีมผู้เชี่ยวชาญ AI แต่ละทีมจึงต้องจัดการข้อมูลด้วยตัวเอง เดอะ OpenAI จากนั้นผู้คนก็ตัดสินใจไปที่ Reddit ซึ่งเป็นฟอรัมภาษาอังกฤษที่ได้รับความนิยมมากที่สุด และดึงไฮเปอร์ลิงก์ทั้งหมดออกจากทุกโพสต์ที่มีการกดถูกใจมากกว่า 8 ครั้ง มีลิงก์เหล่านี้เกือบ 40 ล้านลิงก์ และข้อความที่ดาวน์โหลดมีน้ำหนักทั้งหมด XNUMX เทราไบต์
สมการที่อธิบายพารามิเตอร์จำนวนใดที่ใหญ่ที่สุด GPT-2 รุ่นปี 2019 มีอะไรบ้าง? บางทีอาจเป็นแสนหรือสองสามล้าน? เราไปกันต่ออีก: สูตรนี้มีพารามิเตอร์ดังกล่าวมากถึง 1.5 พันล้านพารามิเตอร์ การเขียนตัวเลขจำนวนมากนั้นลงในไฟล์และบันทึกลงในคอมพิวเตอร์ของคุณจะใช้เวลา 6 เทราไบต์ โมเดลไม่จำเป็นต้องจดจำข้อความนี้โดยรวม ดังนั้นในด้านหนึ่ง นี่จึงน้อยกว่าจำนวนรวมของอาร์เรย์ข้อมูลข้อความที่ฝึกโมเดลอยู่มาก ก็เพียงพอแล้วสำหรับการค้นหาการพึ่งพาบางอย่าง (รูปแบบ กฎเกณฑ์) ที่สามารถแยกออกจากข้อความที่เขียนโดยผู้คนได้
ยิ่งโมเดลคาดการณ์ความน่าจะเป็นได้ดียิ่งขึ้นและมีพารามิเตอร์มากขึ้นเท่าใด สมการก็จะยิ่งซับซ้อนมากขึ้นเท่านั้น ทำให้ได้ข้อความที่น่าเชื่อถือ นอกจากนี้ GPT-2 รุ่นเริ่มมีประสิทธิภาพดีจน OpenAI นักวิจัย ยังลังเลที่จะเปิดเผยแบบจำลองในที่เปิดเผยด้วยเหตุผลด้านความปลอดภัย
เป็นเรื่องที่น่าสนใจมากที่เมื่อโมเดลมีขนาดใหญ่ขึ้น จู่ๆ โมเดลก็เริ่มมีคุณสมบัติใหม่ (เช่น ความสามารถในการเขียนเรียงความที่กระชับและมีความหมาย แทนที่จะเป็นเพียงการบอกคำถัดไปทางโทรศัพท์)
การเปลี่ยนแปลงจากปริมาณเป็นคุณภาพเกิดขึ้น ณ จุดนี้ นอกจากนี้ยังเกิดขึ้นแบบไม่เชิงเส้นทั้งหมด ตัวอย่างเช่น การเพิ่มจำนวนพารามิเตอร์สามเท่าจาก 115 เป็น 350 ล้านไม่มีผลกระทบต่อความสามารถของแบบจำลองในการแก้ปัญหาอย่างแม่นยำ อย่างไรก็ตาม การเพิ่มขึ้นสองเท่าเป็น 700 ล้านคนก่อให้เกิดการก้าวกระโดดเชิงคุณภาพ โดยโครงข่ายประสาทเทียม “มองเห็นแสงสว่าง” และเริ่มทำให้ทุกคนประหลาดใจด้วยความสามารถในการทำงานให้สำเร็จ
สรุป: ปี 2019 มีการเปิดตัวของ GPT-2ซึ่งมากกว่ารุ่นก่อนถึง 10 เท่าในแง่ของขนาดของโมเดล (จำนวนพารามิเตอร์) และปริมาณของข้อมูลข้อความการฝึกอบรม เนื่องจากความก้าวหน้าในเชิงปริมาณนี้ โมเดลจึงได้รับความสามารถใหม่ๆ ในเชิงคุณภาพอย่างไม่อาจคาดเดาได้ เช่น ความสามารถในการ เขียนเรียงความยาว ด้วยความหมายที่ชัดเจนและแก้ปัญหาที่ท้าทายซึ่งต้องอาศัยพื้นฐานแห่งโลกทัศน์
GPT-3: ฉลาดเป็นนรก
โดยทั่วไปแล้วการเปิดตัวในปี 2020 ของ GPT-3ซึ่งเป็นเจเนอเรชันถัดไปในซีรีส์นี้ มีพารามิเตอร์เพิ่มขึ้นถึง 116 เท่า สูงถึง 175 พันล้าน และน่าทึ่งถึง 700 เทราไบต์
พื้นที่ GPT-3 ชุดข้อมูลการฝึกอบรมก็ขยายออกไปเช่นกัน แม้ว่าจะไม่ได้รุนแรงมากนักก็ตาม เพิ่มขึ้นเกือบ 10 เท่าเป็น 420 กิกะไบต์ และปัจจุบันมีหนังสือจำนวนมาก Wikiบทความ pedia และข้อความอื่น ๆ จากเว็บไซต์อื่น ๆ มนุษย์จะใช้เวลาประมาณ 50 ปีในการอ่านแบบไม่หยุดพัก ทำให้มันเป็นไปไม่ได้
คุณสังเกตเห็นความแตกต่างที่น่าสนใจทันที: ไม่เหมือน GPT-2ขณะนี้ตัวแบบมีขนาดใหญ่กว่าอาร์เรย์ข้อความทั้งหมดสำหรับการฝึกถึง 700 GB (420 GB) ในแง่หนึ่ง สิ่งนี้กลับกลายเป็นความขัดแย้ง: ในกรณีนี้ เมื่อ "นิวโรเบรน" ศึกษาข้อมูลดิบ มันสร้างข้อมูลเกี่ยวกับการพึ่งพาซึ่งกันและกันต่างๆ ภายในสิ่งเหล่านั้นซึ่งมีปริมาณเชิงปริมาตรมากกว่าข้อมูลดั้งเดิม
จากภาพรวมของโมเดล ทำให้ตอนนี้สามารถคาดการณ์ได้สำเร็จยิ่งกว่าเดิม และประสบความสำเร็จแม้กระทั่งในงานสร้างข้อความที่เกิดขึ้นไม่บ่อยนักหรือไม่เกิดขึ้นเลยในระหว่างการฝึกอบรม ตอนนี้ คุณไม่จำเป็นต้องสอนโมเดลถึงวิธีแก้ไขปัญหาบางอย่าง แค่อธิบายและยกตัวอย่างบางส่วนก็เพียงพอแล้ว GPT-3 จะได้เรียนรู้ทันที
พื้นที่ “สมองสากล” ในรูปของ GPT-3 ในที่สุดก็เอาชนะโมเดลพิเศษก่อนหน้านี้ได้หลายรุ่น ตัวอย่างเช่น GPT-3 เริ่มแปลข้อความจากภาษาฝรั่งเศสหรือเยอรมันได้เร็วและแม่นยำกว่าโครงข่ายประสาทเทียมใดๆ ก่อนหน้านี้ที่สร้างขึ้นเพื่อจุดประสงค์นี้โดยเฉพาะ ยังไง? ฉันขอเตือนคุณว่าเรากำลังพูดถึงแบบจำลองทางภาษาศาสตร์ซึ่งมีวัตถุประสงค์เพียงอย่างเดียวคือการพยายามคาดเดาคำต่อไปนี้ในข้อความที่กำหนด
ที่น่าประหลาดใจยิ่งกว่านั้นคือ GPT-3 สามารถสอนตัวเองได้…คณิตศาสตร์! กราฟด้านล่างแสดงให้เห็นว่าโครงข่ายประสาทเทียมทำงานได้ดีเพียงใดในงานต่างๆ รวมถึงการบวกและการลบ ตลอดจนการคูณจำนวนเต็มสูงสุด 10 หลักด้วยจำนวนพารามิเตอร์ที่แตกต่างกัน อย่างที่คุณเห็น โครงข่ายประสาทเทียมเริ่ม "มีความสามารถ" ในทางคณิตศาสตร์โดยฉับพลัน ในขณะที่เปลี่ยนจากแบบจำลองที่มีพารามิเตอร์ 100 พันล้านไปเป็นแบบจำลองที่มี XNUMX พันล้าน
| เพิ่มเติม: การแข่งขัน AI ของ Big Tech: Google ทดสอบ Chatbot ที่ขับเคลื่อนด้วย AI เพื่อตอบสนอง ChatGPT |
คุณลักษณะที่น่าสนใจที่สุดของกราฟดังกล่าวคือ ในตอนแรก ดูเหมือนจะไม่มีอะไรเปลี่ยนแปลงเมื่อขนาดของแบบจำลองเพิ่มขึ้น (จากซ้ายไปขวา) แต่ทันใดนั้น p คูณ! การเปลี่ยนแปลงเชิงคุณภาพเกิดขึ้นและ GPT-3 เริ่ม “เข้าใจ” วิธีแก้ไขปัญหาบางอย่าง ไม่มีใครแน่ใจว่ามันทำงานอย่างไร อะไร หรือทำไม แต่ดูเหมือนว่าจะได้ผลในความยากอื่นๆ มากมายพอๆ กับในวิชาคณิตศาสตร์
คุณลักษณะที่น่าสนใจที่สุดของกราฟดังกล่าวคือ เมื่อขนาดของแบบจำลองเพิ่มขึ้น ประการแรก ดูเหมือนจะไม่มีอะไรเปลี่ยนแปลง จากนั้น GPT-3 ก้าวกระโดดเชิงคุณภาพและเริ่ม "เข้าใจ" วิธีแก้ไขปัญหาบางอย่าง
gif ด้านล่างแสดงให้เห็นง่ายๆ ว่าความสามารถใหม่ที่ไม่มีใครวางแผนไว้อย่างจงใจให้เกิด "การแตกหน่อ" ในโมเดลเมื่อจำนวนพารามิเตอร์เพิ่มขึ้น:
สรุป: ในแง่ของพารามิเตอร์ปี 2020 GPT-3 มีขนาดใหญ่กว่ารุ่นก่อน 100 เท่า ในขณะที่ข้อมูลข้อความการฝึกอบรมมีขนาดใหญ่กว่า 10 เท่า อีกครั้งหนึ่ง โมเดลเรียนรู้ที่จะแปลจากภาษาอื่น คำนวณ เขียนโปรแกรมอย่างง่าย ให้เหตุผลตามลำดับ และอื่นๆ อีกมากมายอันเป็นผลมาจากการขยายปริมาณที่ทำให้คุณภาพเพิ่มขึ้นอย่างกะทันหัน
| เพิ่มเติม: ChatGPT มีปัญหากับโดนัลด์ ทรัมป์ |
GPT-3.5 (สั่งสอนGPT): โมเดลที่ผ่านการฝึกอบรมให้ปลอดภัยและปลอดสารพิษ
ในความเป็นจริง การขยายโมเดลภาษาไม่ได้รับประกันว่าจะตอบสนองต่อการสอบถามตามที่ผู้ใช้ต้องการ ในความเป็นจริง เมื่อเราส่งคำขอ เรามักจะตั้งใจใช้คำศัพท์ที่ไม่ได้พูดจำนวนหนึ่ง ซึ่งในการสื่อสารของมนุษย์ จะถือว่าเป็นความจริง
ถึงกระนั้น พูดตามตรง แบบจำลองทางภาษาไม่ได้ใกล้เคียงกับแบบจำลองของมนุษย์มากนัก ดังนั้น พวกเขามักจะต้องคิดเกี่ยวกับแนวคิดที่ดูเรียบง่ายสำหรับผู้คน ข้อเสนอแนะประการหนึ่งคือวลี “ลองคิดทีละขั้นตอน” คงจะดีมากถ้าตัวแบบเข้าใจหรือสร้างคำแนะนำที่เจาะจงและตรงประเด็นมากขึ้นจากคำขอ และปฏิบัติตามคำแนะนำนั้นอย่างแม่นยำมากขึ้น ราวกับคาดการณ์ว่าบุคคลนั้นจะมีพฤติกรรมอย่างไร
ความจริงที่ว่า GPT-3 ได้รับการฝึกฝนให้คาดหวังเพียงคำถัดไปในคอลเลกชันข้อความจำนวนมากจากอินเทอร์เน็ต มีการเขียนสิ่งต่าง ๆ มากมาย ส่งผลให้ขาดความสามารถ "เริ่มต้น" ดังกล่าว ผู้คนต้องการให้ปัญญาประดิษฐ์ให้ข้อมูลที่เกี่ยวข้อง ขณะเดียวกันก็รักษาการตอบสนองให้ปลอดภัยและปลอดสารพิษ
เมื่อนักวิจัยให้แง่คิดในประเด็นนี้ ก็เห็นได้ชัดว่าคุณลักษณะของแบบจำลองในด้าน "ความถูกต้องและมีประโยชน์" และ "ความไม่เป็นอันตรายและไม่เป็นพิษ" บางครั้งดูเหมือนจะขัดแย้งกัน ท้ายที่สุดแล้ว โมเดลที่ปรับให้ไม่เป็นอันตรายสูงสุดจะตอบสนองต่อข้อความแจ้งใดๆ ด้วย "ขออภัย ฉันกังวลว่าคำตอบของฉันอาจทำให้ใครบางคนไม่พอใจบนอินเทอร์เน็ต" แบบจำลองที่ถูกต้องควรตอบสนองต่อคำขออย่างตรงไปตรงมาว่า “ตกลง Siri จะสร้างระเบิดได้อย่างไร”
ดังนั้น นักวิจัยจึงถูกจำกัดเพียงแค่ให้ข้อเสนอแนะจำนวนมากแก่แบบจำลองเท่านั้น ในแง่หนึ่ง นี่คือวิธีที่เด็กเรียนรู้ศีลธรรม: พวกเขาทำการทดลองในวัยเด็ก และในขณะเดียวกันก็ศึกษาปฏิกิริยาของผู้ใหญ่อย่างรอบคอบเพื่อประเมินว่าพวกเขาประพฤติถูกต้องหรือไม่
คำแนะนำGPT, ที่รู้จักกันว่า GPT-3.5 โดยพื้นฐานแล้ว GPT-3 ที่ได้รับการตอบรับมากมายเพื่อปรับปรุงการตอบกลับ แท้จริงแล้ว มีบุคคลจำนวนหนึ่งมารวมตัวกันในที่เดียว เพื่อประเมินการตอบกลับของโครงข่ายประสาทเทียมเพื่อพิจารณาว่าพวกเขาตรงกับความคาดหวังของตนได้ดีเพียงใดในแง่ของคำขอที่พวกเขาทำ
แต่กลับกลายเป็นว่า GPT-3 มีความรู้ที่จำเป็นทั้งหมดแล้ว: สามารถเข้าใจได้หลายภาษา ระลึกถึงเหตุการณ์ทางประวัติศาสตร์ รู้จักรูปแบบเผด็จการที่แปรผัน ฯลฯ แต่เรียนรู้การใช้ความรู้นี้อย่างถูกต้องเท่านั้น (จากมุมมองของเรา) ด้วยข้อมูลจาก บุคคลอื่น GPT-3.5 สามารถมองได้ว่าเป็นโมเดล “การศึกษาโดยสังคม”
สรุป: หน้าที่หลักของ GPT-3.5 ซึ่งเปิดตัวเมื่อต้นปี 2022 เป็นการฝึกอบรมขึ้นใหม่เพิ่มเติมตามข้อมูลจากแต่ละบุคคล ปรากฎว่าโมเดลนี้ไม่ได้ใหญ่ขึ้นและฉลาดขึ้นจริงๆ แต่กลับเชี่ยวชาญความสามารถในการปรับแต่งการตอบสนองเพื่อให้ผู้คนหัวเราะอย่างบ้าคลั่งที่สุด
ChatGPT: กระแสแห่งความตื่นเต้นครั้งใหญ่
ประมาณ 10 เดือนหลังจากคำสั่งสอนรุ่นก่อนGPT/GGPT-3.5, ChatGPT ได้รับการแนะนำ ทันใดนั้นก็เกิดกระแสฮือฮาไปทั่วโลก
จากมุมมองทางเทคโนโลยี ดูเหมือนว่าไม่มีความแตกต่างที่มีนัยสำคัญระหว่างกัน ChatGPT และสั่งสอนGPT. แบบจำลองนี้ได้รับการฝึกอบรมด้วยข้อมูลกล่องโต้ตอบเพิ่มเติม เนื่องจาก "งานผู้ช่วย AI" ต้องใช้รูปแบบกล่องโต้ตอบที่ไม่ซ้ำกัน เช่น ความสามารถในการถามคำถามที่ชัดเจน หากคำขอของผู้ใช้ไม่ชัดเจน
เหตุใดจึงไม่มีการโฆษณาเกินจริง GPT-3.5 เมื่อต้นปี 2022 ในขณะที่ ChatGPT ติดเหมือนไฟป่า? แซมอัลท์แมน, กรรมการบริหารของ OpenAIยอมรับอย่างเปิดเผยว่านักวิจัยที่เราจับได้ด้วยความประหลาดใจ ChatGPTของความสำเร็จทันที ท้ายที่สุด นางแบบที่มีความสามารถเทียบเคียงได้ก็นอนเฉยๆ บนเว็บไซต์ของพวกเขาเป็นเวลากว่าสิบเดือน ณ จุดนั้น และไม่มีใครพร้อมที่จะทำงานนี้
| เพิ่มเติม: ChatGPT ผ่านการสอบ Wharton MBA |
เป็นเรื่องเหลือเชื่อ แต่ดูเหมือนว่าอินเทอร์เฟซใหม่ที่เป็นมิตรต่อผู้ใช้คือกุญแจสู่ความสำเร็จ คำสั่งเดียวกันGPT สามารถเข้าถึงได้ผ่านอินเทอร์เฟซ API ที่เป็นเอกลักษณ์เท่านั้น ซึ่งจำกัดการเข้าถึงโมเดลของผู้คน ChatGPTในทางกลับกัน ใช้อินเทอร์เฟซ "หน้าต่างโต้ตอบ" ที่รู้จักกันดีของผู้ส่งสาร นอกจากนี้ตั้งแต่ ChatGPT พร้อมใช้งานสำหรับทุกคนในคราวเดียว ผู้คนแตกตื่นรีบโต้ตอบกับโครงข่ายประสาทเทียม คัดกรองพวกเขา และโพสต์บน โซเชียลมีเดีย, สะกดจิตผู้อื่น
นอกเหนือจากเทคโนโลยีที่ยอดเยี่ยมแล้ว ยังมีอีกสิ่งหนึ่งที่ถูกทำโดย OpenAI: การตลาด. แม้ว่าคุณจะมีโมเดลที่ดีที่สุดหรือแชตบอตที่ชาญฉลาดที่สุด หากไม่มีอินเทอร์เฟซที่ใช้งานง่าย ก็จะไม่มีใครสนใจมัน ในเรื่องนี้ ChatGPT บรรลุความก้าวหน้าด้วยการนำเสนอเทคโนโลยีสู่สาธารณชนทั่วไปโดยใช้กล่องโต้ตอบแบบปกติ ซึ่งหุ่นยนต์ที่เป็นประโยชน์จะ "พิมพ์" วิธีแก้ปัญหาต่อหน้าต่อตาเราทีละคำ
แปลกใจ ChatGPT ทำลายสถิติเดิมทั้งหมดในการดึงดูดผู้ใช้ใหม่ เกินหลักชัยผู้ใช้ 1 ล้านคนในเวลาเพียงห้าวันที่เปิดตัว และข้าม 100 ล้านคนในเวลาเพียงสองเดือน
แน่นอนว่าเมื่อมีผู้ใช้เพิ่มขึ้นเป็นประวัติการณ์ก็มีเงินมหาศาล ชาวจีนประกาศอย่างเร่งด่วนถึงการปล่อยตัวของพวกเขาเอง chatbotไมโครซอฟต์ตกลงอย่างรวดเร็ว OpenAI เพื่อลงทุนหลายหมื่นล้านดอลลาร์ในพวกเขา และวิศวกรของ Google ก็ส่งเสียงเตือนและเริ่มกำหนดแผนเพื่อปกป้องบริการค้นหาของพวกเขาจากการแข่งขันกับโครงข่ายประสาทเทียม
สรุป: เมื่อราคาของ ChatGPT รุ่นเปิดตัวในเดือนพฤศจิกายน 2022 ไม่มีความก้าวหน้าทางเทคโนโลยีที่โดดเด่นใดๆ อย่างไรก็ตาม มันมีอินเทอร์เฟซที่สะดวกสำหรับการมีส่วนร่วมของผู้ใช้และการเข้าถึงแบบเปิด ซึ่งจุดประกายกระแสโฆษณาจำนวนมากในทันที เนื่องจากนี่เป็นปัญหาที่สำคัญที่สุดในโลกยุคใหม่ ทุกคนจึงเริ่มจัดการกับโมเดลภาษาทันที
อ่านเพิ่มเติมเกี่ยวกับ AI:
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
บทความอื่น ๆ
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
