AI4Bharat เปิดตัว 'Airavata' LLM แบบกำหนดเองเพื่อปรับปรุงภาษาฮินดีในโมเดล AI
ในบทสรุป
AI4Bharat ของอินเดียประกาศเปิดตัว "Airavata" ซึ่งเป็น LLM เพื่อปรับปรุงการรองรับภาษาฮินดีในโมเดล AI ซึ่งสร้างขึ้นโดยการปรับแต่ง OpenHathi
ห้องปฏิบัติการวิจัย AI ของสถาบันอุดมศึกษาอินเดีย IIT Madras AI4ภารัต เปิดตัว Airavata ซึ่งเป็นโมเดลที่ปรับแต่งคำสั่งสำหรับภาษาฮินดี ตามประกาศ โมเดลดังกล่าวถูกสร้างขึ้นโดยการปรับแต่ง OpenHathi ของ Sarvam AI อย่างละเอียด พร้อมชุดข้อมูลภาษาฮินดีที่หลากหลายเพื่อให้เหมาะสมกับงานช่วยเหลือมากขึ้น
ภาษาฮินดีเป็นภาษาที่มีคนพูดมากที่สุดในอินเดีย โดยมีเจ้าของภาษามากกว่า 43%
“ปัจจุบัน Airavata รองรับภาษาฮินดี แต่เราวางแผนที่จะขยายไปยังภาษาอินเดียที่กำหนดไว้ทั้งหมด 22 ภาษาในเร็วๆ นี้” ห้องปฏิบัติการ AI กล่าวใน โพสต์ LinkedIn. สิ่งสำคัญคือต้องทราบว่าประสิทธิภาพของ โมเดลภาษาขนาดใหญ่ (LLM) อาศัยชุดข้อมูลการปรับแต่งคำสั่งคุณภาพสูง อย่างไรก็ตาม ชุดข้อมูลที่หลากหลายสำหรับภาษาฮินดียังไม่เพียงพอ
มีความก้าวหน้าที่สำคัญในการพัฒนาชุดข้อมูลสำหรับการฝึกอบรมล่วงหน้า เช่น RedPajama; การปรับแต่งคำสั่งเช่น Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; และเกณฑ์มาตรฐานการประเมินผล เช่น AlpacaEval, MT-Bench อย่างไรก็ตาม ความก้าวหน้าเหล่านี้ส่วนใหญ่เน้นไปที่ภาษาอังกฤษเป็นส่วนใหญ่
“มีการรองรับภาษาอินเดียอย่างจำกัด ซึ่งอาจเกิดจากการรวมข้อมูลภาษาอินเดียบางส่วนโดยไม่ได้ตั้งใจที่เล็ดลอดผ่านตัวกรองข้อมูลระหว่างการฝึกอบรมล่วงหน้าของโมเดลภาษาเหล่านี้ อย่างไรก็ตาม การแสดงข้อมูล ประสิทธิภาพของโทเค็นไนเซอร์ และประสิทธิภาพการทำงานสำหรับภาษาอินเดียนั้นยังอยู่เบื้องหลังภาษาอังกฤษอย่างมาก” AI4Bharat Labs กล่าวในแถลงการณ์.
“การแสดงในภาษาอินเดีย แม้แต่ในโมเดลโอเพ่นซอร์สเช่น ChatGPT, GPT-4 และอื่น ๆ ด้อยกว่าเมื่อเปรียบเทียบกับภาษาอังกฤษ” กล่าวเสริม
AI4Bharat เผยแพร่ชุดข้อมูลการปรับแต่งคำสั่ง
นอกจากนี้ ทีม AI4Bharat ยังได้เปิดตัวการปรับแต่งคำสั่งอีกด้วย ชุดข้อมูล ใช้สำหรับแบบจำลองเพื่อให้สามารถวิจัยเพิ่มเติมสำหรับ IndicLLM ได้
“Airavata” อาศัยชุดข้อมูลที่ดูแลจัดการโดยมนุษย์ซึ่งเป็นมิตรกับข้อตกลงใบอนุญาตเพื่อพัฒนาโมเดลที่ปรับแต่งคำสั่ง ทีมงานหลีกเลี่ยงการใช้ข้อมูลที่สร้างจากโมเดลที่เป็นกรรมสิทธิ์โดยเฉพาะ GPT-4 เนื่องจากจะทำให้ต้นทุนเพิ่มขึ้นและจำกัดการใช้งานโมเดลเหล่านี้ฟรีในแอปพลิเคชันอื่นๆ เนื่องจากข้อจำกัดด้านสิทธิ์การใช้งาน
ทีมงานเชื่อว่าชุดข้อมูลที่ดูแลจัดการโดยมนุษย์เป็นแนวทางที่ยั่งยืนกว่าสำหรับการสร้างแบบจำลองสำหรับภาษาอินเดียส่วนใหญ่
อย่างไรก็ตาม Airavata ก็เหมือนกับ LLM อื่นๆ ที่ต้องเผชิญกับความท้าทายทั่วไป ซึ่งรวมถึงความเป็นไปได้ที่จะเกิดอาการประสาทหลอน ซึ่งนำไปสู่ข้อมูลที่ถูกปลอมแปลง และอาจประสบปัญหากับความถูกต้องแม่นยำในหัวข้อที่ซับซ้อนหรือเฉพาะทาง ยังมีความเสี่ยงในการผลิตเนื้อหาที่น่ารังเกียจหรือลำเอียงอีกด้วย
ทีมงานชี้แจงว่าแบบจำลองนี้มีวัตถุประสงค์เพื่อการวิจัย และไม่แนะนำให้ใช้กับกรณีการใช้งานจริงใดๆ
ก่อนหน้านี้ ห้องปฏิบัติการ AI4Bharat ได้เปิดตัวแพลตฟอร์มการตัดต่อวิดีโอแบบโอเพ่นซอร์สชื่อ Chitralekha ซึ่งรวมถึงระบบการจัดการแรงงานที่อำนวยความสะดวกในกระบวนการแปลงวิดีโอจากภาษาหนึ่งไปอีกภาษาหนึ่งโดยสมบูรณ์ ซึ่งครอบคลุมถึงการถอดเสียง การแปล และการพากย์เสียงสำหรับภาษาที่แปล
สร้างขึ้นด้วยความร่วมมือกับ EkStep ซึ่งเป็นมูลนิธิที่ไม่แสวงหาผลกำไรและทีมงานที่มีบทบาทสำคัญในการพัฒนาโครงการ Aadhaar ของอินเดีย
นอกจากนี้ AI4Bharat ยังได้ริเริ่มกระบวนการสรรหาบุคลากรสำหรับโครงการ AI ประจำและผู้ร่วมงานสำหรับภาคการศึกษาปี 2024-25 หลักสูตรก่อนปริญญาเอกตลอดทั้งปีนี้เน้นการทำงานแบบเข้มข้น การประมวลผลภาษาธรรมชาติ (NLP) โครงการสุนทรพจน์และวิสัยทัศน์
ข้อจำกัดความรับผิดชอบ
สอดคล้องกับ แนวทางโครงการที่เชื่อถือได้โปรดทราบว่าข้อมูลที่ให้ไว้ในหน้านี้ไม่ได้มีจุดมุ่งหมายและไม่ควรตีความว่าเป็นคำแนะนำทางกฎหมาย ภาษี การลงทุน การเงิน หรือรูปแบบอื่นใด สิ่งสำคัญคือต้องลงทุนเฉพาะในสิ่งที่คุณสามารถที่จะสูญเสียได้ และขอคำแนะนำทางการเงินที่เป็นอิสระหากคุณมีข้อสงสัยใดๆ สำหรับข้อมูลเพิ่มเติม เราขอแนะนำให้อ้างอิงข้อกำหนดและเงื่อนไขตลอดจนหน้าช่วยเหลือและสนับสนุนที่ผู้ออกหรือผู้ลงโฆษณาให้ไว้ MetaversePost มุ่งมั่นที่จะรายงานที่ถูกต้องและเป็นกลาง แต่สภาวะตลาดอาจมีการเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบล่วงหน้า
เกี่ยวกับผู้เขียน
Kumar เป็นนักข่าวเทคโนโลยีที่มีประสบการณ์ โดยมีความเชี่ยวชาญเฉพาะด้านในการผสมผสานแบบไดนามิกของ AI/ML เทคโนโลยีการตลาด และสาขาเกิดใหม่ เช่น คริปโต บล็อกเชน และ NFTส. ด้วยประสบการณ์กว่า 3 ปีในอุตสาหกรรมนี้ Kumar ได้สร้างผลงานที่ได้รับการพิสูจน์แล้วในด้านการสร้างสรรค์เรื่องราวที่น่าสนใจ การสัมภาษณ์เชิงลึก และการนำเสนอข้อมูลเชิงลึกที่ครอบคลุม ความเชี่ยวชาญของ Kumar อยู่ที่การผลิตเนื้อหาที่มีผลกระทบสูง รวมถึงบทความ รายงาน และสิ่งพิมพ์วิจัยสำหรับแพลตฟอร์มอุตสาหกรรมที่โดดเด่น ด้วยชุดทักษะเฉพาะตัวที่ผสมผสานความรู้ทางเทคนิคและการเล่าเรื่อง Kumar มีความเป็นเลิศในการสื่อสารแนวคิดทางเทคโนโลยีที่ซับซ้อนไปยังผู้ชมที่หลากหลายในลักษณะที่ชัดเจนและมีส่วนร่วม
บทความอื่น ๆ
Kumar เป็นนักข่าวเทคโนโลยีที่มีประสบการณ์ โดยมีความเชี่ยวชาญเฉพาะด้านในการผสมผสานแบบไดนามิกของ AI/ML เทคโนโลยีการตลาด และสาขาเกิดใหม่ เช่น คริปโต บล็อกเชน และ NFTส. ด้วยประสบการณ์กว่า 3 ปีในอุตสาหกรรมนี้ Kumar ได้สร้างผลงานที่ได้รับการพิสูจน์แล้วในด้านการสร้างสรรค์เรื่องราวที่น่าสนใจ การสัมภาษณ์เชิงลึก และการนำเสนอข้อมูลเชิงลึกที่ครอบคลุม ความเชี่ยวชาญของ Kumar อยู่ที่การผลิตเนื้อหาที่มีผลกระทบสูง รวมถึงบทความ รายงาน และสิ่งพิมพ์วิจัยสำหรับแพลตฟอร์มอุตสาหกรรมที่โดดเด่น ด้วยชุดทักษะเฉพาะตัวที่ผสมผสานความรู้ทางเทคนิคและการเล่าเรื่อง Kumar มีความเป็นเลิศในการสื่อสารแนวคิดทางเทคโนโลยีที่ซับซ้อนไปยังผู้ชมที่หลากหลายในลักษณะที่ชัดเจนและมีส่วนร่วม
