AI4Bharat выпускает «Airavata», специальную программу LLM для улучшения языка хинди в моделях искусственного интеллекта
Коротко
Индийская компания AI4Bharat объявила о выпуске «Airavata», программы LLM для улучшения поддержки языка хинди в моделях искусственного интеллекта, созданной путем тонкой настройки OpenHathi.
Исследовательская лаборатория искусственного интеллекта Индийского института высшего образования IIT Madras AI4Бхарат выпустила Airavata, настроенную на хинди модель с инструкциями. Согласно объявлению, модель была создана путем тонкой настройки OpenHathi компании Sarvam AI с использованием разнообразных наборов данных на хинди, чтобы сделать ее более подходящей для вспомогательных задач.
Хинди — самый распространенный язык в Индии, на котором говорят более 43% человек.
«В настоящее время Airavata поддерживает хинди, но мы планируем в ближайшее время распространить эту поддержку на все 22 запланированных индийских языка», — говорится в сообщении лаборатории искусственного интеллекта. LinkedIn пост. Важно отметить, что производительность большие языковые модели (LLM) опирается на высококачественные наборы данных настройки инструкций. Однако на хинди имеется нехватка разнообразных наборов данных.
Значительный прогресс также был достигнут в разработке наборов данных для предварительного обучения, таких как RedPajama; настройка инструкций, таких как Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; и тесты оценки, такие как AlpacaEval, MT-Bench. Однако большинство этих достижений было сосредоточено преимущественно на английском языке.
«Существует некоторая ограниченная поддержка индийских языков, что можно объяснить случайным включением некоторых данных на индийском языке, которые проскользнули через фильтры данных во время предварительного обучения этих языковых моделей. Однако представление данных, эффективность токенизаторов и производительность задач для индийских языков значительно отстают от английского», — AI4Bharat Labs. сказано в своем заявлении.
«Производительность на индийских языках даже на моделях с закрытым исходным кодом, таких как ChatGPT, GPT-4 и других, уступает английскому», — добавили в нем.
AI4Bharat выпускает наборы данных для настройки инструкций
Команда AI4Bharat также выпустила инструкцию по настройке Наборы данных используется в модели, чтобы обеспечить дальнейшие исследования IndicLLM.
«Айравата» полагается на наборы данных, курируемые людьми, которые соответствуют лицензионным соглашениям, для разработки моделей, настроенных на инструкции. Команда специально избегает использования данных, полученных на основе проприетарных моделей, таких как GPT-4 поскольку это увеличит затраты и ограничит бесплатное использование этих моделей в других приложениях из-за лицензионных ограничений.
Вместо этого команда считает, что наборы данных, курируемые людьми, являются более устойчивым подходом к построению моделей для большинства индийских языков.
Однако Айравата, как и другие программы LLM, сталкивается с типичными проблемами. К ним относятся возможность галлюцинаций, ведущих к сфабрикованной информации, и могут возникнуть проблемы с точностью в сложных или специализированных темах. Также существует риск создания нежелательного или предвзятого контента.
Команда уточнила, что модель предназначена для исследовательских целей и не рекомендуется для каких-либо производственных сценариев.
Ранее лаборатория AI4Bharat запустила платформу для транскреации видео с открытым исходным кодом — Chitralekha, которая включает в себя систему управления персоналом, облегчающую полный процесс транскреации видео с одного языка на другой, включая транскрипцию, перевод и озвучку для переведенного языка.
Он был создан в сотрудничестве с EkStep – некоммерческим фондом и командой, которая сыграла важную роль в разработке индийского проекта Aadhaar.
Кроме того, AI4Bharat начала процесс набора персонала для своей программы резидентов и ассоциированных сотрудников AI на срок 2024–25 годов. В этой годовой преддокторской программе особое внимание уделяется интенсивной работе в области обработки естественного языка (НЛП), речь и проекты видения.
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Кумар — опытный технический журналист, специализирующийся на динамических пересечениях искусственного интеллекта и машинного обучения, маркетинговых технологий и новых областях, таких как криптография, блокчейн и NFTс. Имея более чем трехлетний опыт работы в отрасли, Кумар зарекомендовал себя в создании убедительных повествований, проведении содержательных интервью и предоставлении всеобъемлющей информации. Опыт Кумара заключается в создании эффективного контента, включая статьи, отчеты и исследовательские публикации для известных отраслевых платформ. Обладая уникальным набором навыков, сочетающим в себе технические знания и умение рассказывать истории, Кумар преуспевает в ясной и увлекательной передаче сложных технологических концепций разнообразной аудитории.
Другие статьи
Кумар — опытный технический журналист, специализирующийся на динамических пересечениях искусственного интеллекта и машинного обучения, маркетинговых технологий и новых областях, таких как криптография, блокчейн и NFTс. Имея более чем трехлетний опыт работы в отрасли, Кумар зарекомендовал себя в создании убедительных повествований, проведении содержательных интервью и предоставлении всеобъемлющей информации. Опыт Кумара заключается в создании эффективного контента, включая статьи, отчеты и исследовательские публикации для известных отраслевых платформ. Обладая уникальным набором навыков, сочетающим в себе технические знания и умение рассказывать истории, Кумар преуспевает в ясной и увлекательной передаче сложных технологических концепций разнообразной аудитории.
