AI4Bharat phát hành 'Airavata', LLM tùy chỉnh để cải thiện ngôn ngữ Hindi trong mô hình AI
Tóm lại
AI4Bharat của Ấn Độ đã công bố phát hành “Airavata”, một LLM để cải thiện khả năng hỗ trợ ngôn ngữ Hindi trong các mô hình AI, được xây dựng bằng cách tinh chỉnh OpenHathi.
Phòng thí nghiệm nghiên cứu AI của viện giáo dục đại học Ấn Độ IIT Madras AI4Bharat phát hành Airavata, một mô hình được điều chỉnh theo hướng dẫn cho tiếng Hindi. Theo thông báo, mô hình này đã được xây dựng bằng cách tinh chỉnh OpenHathi của Sarvam AI, với các bộ dữ liệu tiếng Hindi đa dạng để phù hợp hơn với các nhiệm vụ hỗ trợ.
Tiếng Hindi là ngôn ngữ được nói nhiều nhất ở Ấn Độ với hơn 43% người bản ngữ.
Phòng thí nghiệm AI cho biết: “Hiện tại, Airavata hỗ trợ tiếng Hindi, nhưng chúng tôi có kế hoạch sớm mở rộng tính năng này sang tất cả 22 ngôn ngữ Ấn Độ đã được lên lịch”. Bài đăng trên LinkedIn. Điều quan trọng cần lưu ý là hiệu suất của mô hình ngôn ngữ lớn (LLM) dựa vào bộ dữ liệu điều chỉnh lệnh chất lượng cao. Tuy nhiên, có rất ít bộ dữ liệu đa dạng dành cho tiếng Hindi.
Tiến bộ lớn cũng đã đạt được trong việc phát triển các bộ dữ liệu để đào tạo trước như RedPajama; điều chỉnh hướng dẫn như Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; và các benchmark đánh giá như AlpacaEval, MT-Bench. Tuy nhiên, hầu hết những tiến bộ này chủ yếu tập trung vào ngôn ngữ tiếng Anh.
“Có một số hỗ trợ hạn chế dành cho ngôn ngữ Ấn Độ, điều này có thể là do việc đưa vào ngẫu nhiên một số dữ liệu ngôn ngữ Ấn Độ đã lọt qua bộ lọc dữ liệu trong quá trình đào tạo trước các mô hình ngôn ngữ này. Tuy nhiên, cách trình bày dữ liệu, hiệu quả của mã thông báo và hiệu suất tác vụ đối với các ngôn ngữ Ấn Độ kém hơn đáng kể so với tiếng Anh,” AI4Bharat Labs nói trong tuyên bố của nó.
“Hiệu suất của các ngôn ngữ Ấn Độ, ngay cả trên các mô hình nguồn đóng như ChatGPT, GPT-4 và những thứ khác, kém hơn so với tiếng Anh,” nó nói thêm.
AI4Bharat phát hành bộ dữ liệu điều chỉnh hướng dẫn
Nhóm AI4Bharat cũng đã phát hành hướng dẫn điều chỉnh bộ dữ liệu được sử dụng cho mô hình để cho phép nghiên cứu sâu hơn về IndicLLM.
“Airavata” dựa vào các bộ dữ liệu do con người quản lý, thân thiện với các thỏa thuận cấp phép để phát triển các mô hình được điều chỉnh theo hướng dẫn. Nhóm đặc biệt tránh sử dụng dữ liệu được tạo từ các mô hình độc quyền như GPT-4 vì nó sẽ làm tăng chi phí và hạn chế việc sử dụng miễn phí các mô hình này trong các ứng dụng khác do hạn chế cấp phép.
Thay vào đó, nhóm tin rằng các bộ dữ liệu do con người quản lý là cách tiếp cận bền vững hơn để xây dựng mô hình cho hầu hết các ngôn ngữ Ấn Độ.
Tuy nhiên, Airavata, giống như các LLM khác, gặp phải những thách thức điển hình. Chúng bao gồm khả năng xảy ra ảo giác, dẫn đến thông tin bịa đặt và có thể gặp khó khăn về độ chính xác trong các chủ đề phức tạp hoặc chuyên ngành. Cũng có nguy cơ tạo ra nội dung phản cảm hoặc thiên vị.
Nhóm đã làm rõ rằng mô hình này nhằm mục đích nghiên cứu và không được khuyến nghị cho bất kỳ trường hợp sử dụng sản xuất nào.
Trước đây, phòng thí nghiệm AI4Bharat đã ra mắt nền tảng chuyển đổi video nguồn mở – Chitralekha – bao gồm hệ thống quản lý lực lượng lao động hỗ trợ quá trình chuyển đổi hoàn chỉnh của video từ ngôn ngữ này sang ngôn ngữ khác, bao gồm phiên âm, dịch thuật và lồng tiếng cho ngôn ngữ đã dịch.
Nó được tạo ra với sự cộng tác của EkStep - một tổ chức phi lợi nhuận và nhóm đóng vai trò quan trọng trong việc phát triển dự án Aadhaar của Ấn Độ.
Ngoài ra, AI4Bharat đã bắt đầu quá trình tuyển dụng đối với chương trình liên kết và cư trú AI của mình cho nhiệm kỳ 2024-25. Chương trình tiền tiến sĩ kéo dài một năm này nhấn mạnh vào công việc chuyên sâu trong xử lý ngôn ngữ tự nhiên (NLP), các dự án phát biểu và tầm nhìn.
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Kumar là một Nhà báo Công nghệ giàu kinh nghiệm với chuyên môn về các lĩnh vực giao thoa năng động giữa AI/ML, công nghệ tiếp thị và các lĩnh vực mới nổi như tiền điện tử, chuỗi khối và NFTS. Với hơn 3 năm kinh nghiệm trong ngành, Kumar đã lập được thành tích đã được chứng minh trong việc tạo ra những câu chuyện hấp dẫn, thực hiện các cuộc phỏng vấn sâu sắc và đưa ra những hiểu biết toàn diện. Chuyên môn của Kumar nằm ở việc sản xuất nội dung có tác động cao, bao gồm các bài báo, báo cáo và ấn phẩm nghiên cứu cho các nền tảng công nghiệp nổi bật. Với bộ kỹ năng độc đáo kết hợp giữa kiến thức kỹ thuật và cách kể chuyện, Kumar vượt trội trong việc truyền đạt các khái niệm công nghệ phức tạp tới nhiều đối tượng khác nhau một cách rõ ràng và hấp dẫn.
Xem thêm bài viết
Kumar là một Nhà báo Công nghệ giàu kinh nghiệm với chuyên môn về các lĩnh vực giao thoa năng động giữa AI/ML, công nghệ tiếp thị và các lĩnh vực mới nổi như tiền điện tử, chuỗi khối và NFTS. Với hơn 3 năm kinh nghiệm trong ngành, Kumar đã lập được thành tích đã được chứng minh trong việc tạo ra những câu chuyện hấp dẫn, thực hiện các cuộc phỏng vấn sâu sắc và đưa ra những hiểu biết toàn diện. Chuyên môn của Kumar nằm ở việc sản xuất nội dung có tác động cao, bao gồm các bài báo, báo cáo và ấn phẩm nghiên cứu cho các nền tảng công nghiệp nổi bật. Với bộ kỹ năng độc đáo kết hợp giữa kiến thức kỹ thuật và cách kể chuyện, Kumar vượt trội trong việc truyền đạt các khái niệm công nghệ phức tạp tới nhiều đối tượng khác nhau một cách rõ ràng và hấp dẫn.
