Guanaco กลายเป็นโอเพ่นซอร์สที่มีศักยภาพ ChatGPT คู่แข่ง
ในบทสรุป
Guanaco แชทบอทแบบโอเพ่นซอร์สที่พัฒนาโดยนักวิจัยของมหาวิทยาลัยวอชิงตัน มีเป้าหมายที่จะแข่งขันด้วย ChatGPT ในขณะที่ใช้เวลาและเงินน้อยลงในการฝึกอบรม
อย่างไรก็ตาม การศึกษาใหม่ได้ตั้งคำถามถึงประสิทธิภาพของแบบจำลองเช่น Alpaca
นักวิจัยจากมหาวิทยาลัยวอชิงตันได้เปิดเผย guanacoแชทบอทแบบโอเพ่นซอร์สที่มีจุดมุ่งหมายเพื่อแข่งขันกับประสิทธิภาพของ ChatGPT พร้อมทั้งลดเวลาและทรัพยากรที่จำเป็นสำหรับการฝึกอบรมลงอย่างมาก ตั้งชื่อตามญาติชาวอเมริกาใต้ของ llamas, Guanaco ถูกสร้างขึ้นบน LLaMA แบบจำลองภาษาและรวมเอาวิธีการปรับแต่งใหม่ที่เรียกว่า QLoRA
ผู้สร้าง Guanaco อ้างว่ามีประสิทธิภาพเทียบเท่ากับ ChatGPT แต่สามารถฝึกได้ภายในวันเดียว ความสำเร็จที่โดดเด่นนี้เกิดขึ้นได้ด้วย QLoRA ซึ่งเป็นเทคนิคการปรับแต่งโมเดลภาษาที่ช่วยลดจำนวนหน่วยความจำ GPU ที่จำเป็นสำหรับการฝึกอบรมลงอย่างมาก ในขณะที่ ChatGPT ต้องการหน่วยความจำ GPU ขนาดมหึมา 780 GB สำหรับรุ่นที่มีพารามิเตอร์ 65 พันล้านพารามิเตอร์ รุ่นที่ง่ายที่สุดของ Guanaco ต้องการเพียง 5 GB
ด้วยการเพิ่มประสิทธิภาพที่น่าประทับใจ Guanaco และโมเดลโอเพ่นซอร์สที่คล้ายคลึงกันกำลังท้าทายความคิดที่ว่าการฝึกอบรมราคาแพงเป็นสิ่งจำเป็น โมเดลภาษาที่ล้ำสมัย. การเกิดขึ้นของ Guanaco, สัตว์ขนยาวในอเมริกาคล้ายแกะและ รุ่นอื่น ๆ รถไฟที่มีค่าใช้จ่ายเพียงเล็กน้อยทำให้เกิดการคาดเดาเกี่ยวกับอนาคตของโมเดลที่มีราคาแพงเช่น GPT.
อย่างไรก็ตาม ไม่ใช่ทุกคนที่เห็นด้วยกับมุมมองในแง่ดีของโมเดลโอเพ่นซอร์ส การศึกษาล่าสุดที่จัดทำโดยมหาวิทยาลัยแห่งแคลิฟอร์เนีย ได้ตั้งข้อสงสัย ถึงความสามารถของโมเดลอย่างอัลปาก้า และตั้งคำถามเกี่ยวกับศักยภาพที่แท้จริงของพวกมัน ในขั้นต้น นักวิจัยได้ข้อสรุปที่คล้ายกันกับผู้สร้าง Guanaco: เมื่อได้รับการฝึกอบรมอย่างเหมาะสม โมเดลโอเพ่นซอร์สก็สามารถแข่งขันได้ GPT ในความสามารถ การทดสอบเพิ่มเติมเผยให้เห็นข้อจำกัดที่สำคัญ โมเดล "ดอลลี่" เหล่านี้บางครั้งเรียกว่าเก่งในการเลียนแบบวิธีแก้ปัญหาที่พวกเขาพบระหว่างการฝึกอบรม อย่างไรก็ตาม พวกเขาพยายามดิ้นรนเพื่อให้ทำงานได้ดีในงานที่พวกเขาไม่ได้ถูกเปิดเผยอย่างชัดเจน โดยตามหลังโมเดลขั้นสูงกว่า
การเปิดเผยนี้ชี้ให้เห็นว่า ทุ่มงบฝึกอบรมเป็นล้าน GPT และรุ่นที่คล้ายกันอาจไม่ไร้ประโยชน์ แม้ว่า Guanaco และผลิตภัณฑ์อื่นๆ จะแสดงผลลัพธ์ที่น่าพึงพอใจ แต่ก็ยังมีบางพื้นที่ที่โมเดลที่ซับซ้อนกว่านั้นเหนือกว่า เป็นที่น่าสังเกตว่า การวิจัยที่จัดทำโดยมหาวิทยาลัยแห่งแคลิฟอร์เนีย ท้าทายแนวคิดที่มีอยู่ทั่วไปที่ว่าโมเดลโอเพ่นซอร์สสามารถแทนที่โมเดลราคาแพงได้อย่างสมบูรณ์ GPT.
เมื่อสาขาการประมวลผลภาษาธรรมชาติพัฒนาขึ้น มันน่าสนใจที่จะดูว่า Guanaco และโมเดลโอเพ่นซอร์สอื่นๆ เกณฑ์มาตรฐานเช่น ChatGPT. อัตราที่สูงของนวัตกรรมและการวิจัยอย่างต่อเนื่องจะส่งผลกระทบต่ออนาคตของโมเดลภาษาและเป็นตัวกำหนดว่าโมเดลใดจะกลายเป็นตัวเลือกหลักสำหรับแอปพลิเคชันเฉพาะ
- Dolly 2.0 ซึ่งเป็น 12B Chat-LLM แบบโอเพ่นซอร์สตัวแรกที่วางจำหน่ายในเชิงพาณิชย์ ได้รับการประกาศ โดย Databricks นี่เป็นความก้าวหน้าครั้งสำคัญสำหรับอุตสาหกรรมแมชชีนเลิร์นนิง ช่วยให้ธุรกิจสามารถสร้างโมเดลภาษาที่มีประสิทธิภาพโดยไม่ต้องลงทุนในคลัสเตอร์ GPU ที่มีราคาแพง Databricks ให้พนักงาน 5,000 คนสร้างโมเดลภาษาโอเพ่นซอร์ส ซึ่งรวมถึงโมเดลภาษา Pythia-12B ของ EleutherAI ภายใต้ใบอนุญาต MIT Dolly 2.0 รวมถึงรหัสที่เกี่ยวข้องมีให้ใช้งานภายใต้ใบอนุญาต MIT Dolly 2.0 มีศักยภาพในการเปลี่ยนแปลงอุตสาหกรรมและเป็นก้าวสำคัญของแมชชีนเลิร์นนิง
อ่านเพิ่มเติมเกี่ยวกับ AI:
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
บทความอื่น ๆ
Damir เป็นหัวหน้าทีม ผู้จัดการผลิตภัณฑ์ และบรรณาธิการที่ Metaverse Postซึ่งครอบคลุมหัวข้อต่างๆ เช่น AI/ML, AGI, LLMs, Metaverse และ Web3- สาขาที่เกี่ยวข้อง บทความของเขาดึงดูดผู้ชมจำนวนมากกว่าล้านคนทุกเดือน ดูเหมือนว่าเขาจะเป็นผู้เชี่ยวชาญที่มีประสบการณ์ 10 ปีในด้าน SEO และการตลาดดิจิทัล Damir ได้รับการกล่าวถึงใน Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto และสิ่งพิมพ์อื่น ๆ เขาเดินทางไปมาระหว่างสหรัฐอาหรับเอมิเรตส์ ตุรกี รัสเซีย และ CIS ในฐานะคนเร่ร่อนทางดิจิทัล Damir สำเร็จการศึกษาระดับปริญญาตรีสาขาฟิสิกส์ ซึ่งเขาเชื่อว่าทำให้เขามีทักษะการคิดเชิงวิพากษ์ที่จำเป็นต่อการประสบความสำเร็จในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของอินเทอร์เน็ต
