AI4Bharat, AI 모델에서 힌디어 언어 개선을 위한 맞춤형 LLM 'Airavata' 출시
요컨대
인도의 AI4Bharat는 OpenHathi를 미세 조정하여 구축한 AI 모델의 힌디어 지원을 개선하기 위한 LLM인 "Airavata"의 출시를 발표했습니다.
인도 고등교육기관 IIT Madras의 AI 연구소 AI4Bharat 힌디어 교육용 모델 Airavata 출시 발표에 따르면 이 모델은 보조 작업에 더 적합하도록 다양한 힌디어 데이터 세트를 사용하여 Sarvam AI의 OpenHathi를 미세 조정하여 구축되었습니다.
힌디어는 인도에서 가장 많이 사용되는 언어로 43% 이상의 원어민이 사용됩니다.
AI 연구소는 “현재 Airavata는 힌디어를 지원하지만 곧 이를 예정된 22개 인도어 언어로 모두 확장할 계획입니다”라고 밝혔습니다. 링크드 인 포스트. 의 성능에 주목하는 것이 중요합니다. 큰 언어 모델 (LLM)은 고품질 명령어 튜닝 데이터세트에 의존합니다. 그러나 힌디어에 사용할 수 있는 다양한 데이터 세트가 부족합니다.
RedPajama와 같은 사전 훈련을 위한 데이터 세트 개발에서도 큰 진전이 있었습니다. Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat과 같은 명령어 튜닝; AlpacaEval, MT-Bench와 같은 평가 벤치마크. 그러나 이러한 발전의 대부분은 주로 영어를 중심으로 이루어졌습니다.
“인도어에 대한 지원이 일부 제한되어 있는데, 이는 이러한 언어 모델을 사전 훈련하는 동안 데이터 필터를 통과한 일부 인도어 데이터가 부수적으로 포함되었기 때문일 수 있습니다. 그러나 인도어에 대한 데이터 표현, 토크나이저의 효율성 및 작업 성능은 영어에 비해 상당히 뒤떨어져 있습니다.” AI4Bharat Labs 성명서에서 말했다.
“인도어 성능은 다음과 같은 비공개 소스 모델에서도 나타납니다. ChatGPT, GPT-4 등은 영어에 비해 열등하다”고 덧붙였다.
AI4Bharat, 명령어 튜닝 데이터 세트 출시
AI4Bharat 팀은 또한 지침 조정 기능을 출시했습니다. 데이터 세트 IndicLLM에 대한 추가 연구를 가능하게 하기 위해 모델에 사용되었습니다.
"Airavata"는 교육 조정 모델을 개발하기 위해 라이선스 계약에 적합한 인간이 선별한 데이터 세트를 사용합니다. 팀은 특히 다음과 같은 독점 모델에서 생성된 데이터를 사용하지 않습니다. GPT-4 비용이 증가하고 라이선스 제한으로 인해 다른 애플리케이션에서 이러한 모델의 무료 사용이 제한되기 때문입니다.
대신 팀은 인간이 선별한 데이터 세트가 대부분의 인도어에 대한 모델을 구축하는 데 있어 보다 지속 가능한 접근 방식이라고 믿습니다.
그러나 다른 LLM과 마찬가지로 Airavata도 일반적인 문제에 직면합니다. 여기에는 환각 가능성이 포함되어 정보가 조작될 수 있으며 복잡하거나 전문적인 주제에 대한 정확성이 어려울 수 있습니다. 불쾌감을 주거나 편향된 콘텐츠를 제작할 위험도 있습니다.
팀은 이 모델이 연구 목적이며 프로덕션 사용 사례에는 권장되지 않는다는 점을 분명히 했습니다.
이전에 AI4Bharat 연구소는 오픈 소스 비디오 트랜스크리에이션 플랫폼인 Chitralekha를 출시했습니다. 여기에는 번역된 언어에 대한 전사, 번역 및 음성 해설을 포함하여 한 언어에서 다른 언어로 비디오의 완전한 트랜스크리에이션 프로세스를 촉진하는 인력 관리 시스템이 포함되어 있습니다.
이는 비영리 재단이자 인도의 Aadhaar 프로젝트 개발에 중요한 역할을 한 팀인 EkStep과 협력하여 만들어졌습니다.
또한 AI4Bharat는 2024-25년 기간 동안 AI 레지던트 및 제휴 프로그램에 대한 채용 프로세스를 시작했습니다. XNUMX년 동안 진행되는 이 박사후 과정은 집중적인 작업을 강조합니다. 자연어 처리 (NLP), 연설 및 비전 프로젝트.
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Kumar는 AI/ML, 마케팅 기술, 암호화폐, 블록체인 및 신흥 분야의 역동적인 교차점을 전문으로 하는 숙련된 기술 저널리스트입니다. NFT에스. 업계에서 3년 이상의 경험을 보유한 Kumar는 설득력 있는 내러티브 제작, 통찰력 있는 인터뷰 수행, 포괄적인 통찰력 제공 분야에서 입증된 실적을 확립했습니다. Kumar의 전문 분야는 저명한 업계 플랫폼을 위한 기사, 보고서, 연구 간행물 등 영향력이 큰 콘텐츠를 제작하는 것입니다. 기술 지식과 스토리텔링을 결합한 고유한 기술을 갖춘 Kumar는 복잡한 기술 개념을 다양한 청중에게 명확하고 매력적인 방식으로 전달하는 데 탁월합니다.
더 많은 기사
Kumar는 AI/ML, 마케팅 기술, 암호화폐, 블록체인 및 신흥 분야의 역동적인 교차점을 전문으로 하는 숙련된 기술 저널리스트입니다. NFT에스. 업계에서 3년 이상의 경험을 보유한 Kumar는 설득력 있는 내러티브 제작, 통찰력 있는 인터뷰 수행, 포괄적인 통찰력 제공 분야에서 입증된 실적을 확립했습니다. Kumar의 전문 분야는 저명한 업계 플랫폼을 위한 기사, 보고서, 연구 간행물 등 영향력이 큰 콘텐츠를 제작하는 것입니다. 기술 지식과 스토리텔링을 결합한 고유한 기술을 갖춘 Kumar는 복잡한 기술 개념을 다양한 청중에게 명확하고 매력적인 방식으로 전달하는 데 탁월합니다.
