Az AI4Bharat kiadja az „Airavatát”, egy egyéni LLM-et a hindi nyelv fejlesztésére az AI modellekben
Röviden
Az indiai AI4Bharat bejelentette az „Airavata” LLM kiadását, amely javítja a hindi nyelv támogatását az AI modellekben, és amelyet az OpenHathi finomhangolásával építettek fel.
Az indiai felsőoktatási intézet, az IIT Madras mesterséges intelligenciával foglalkozó kutatólaboratóriuma AI4Bharat kiadta az Airavatát, egy hindi nyelvre hangolt modellt. A bejelentés szerint a modell a Sarvam AI OpenHathi finomhangolásával készült, változatos hindi adatkészletekkel, hogy jobban megfeleljen a kisegítő feladatok elvégzésére.
A hindi a legtöbbet beszélt nyelv Indiában, több mint 43%-a anyanyelvi beszélői.
„Jelenleg az Airavata támogatja a hindit, de azt tervezzük, hogy hamarosan kiterjesztjük mind a 22 ütemezett indiai nyelvre” – mondta az AI-laboratórium. LinkedIn üzenet. Fontos megjegyezni, hogy a teljesítmény a nagy nyelvi modellek (LLM) kiváló minőségű utasításhangolási adatkészletekre támaszkodik. A hindi nyelven azonban kevés változatos adatkészlet áll rendelkezésre.
Jelentős előrelépés történt az olyan előképzési adatkészletek fejlesztésében is, mint a RedPajama; utasítások hangolása, mint az Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; és értékelési benchmarkok, mint az AlpacaEval, MT-Bench. Ezeknek a fejlesztéseknek a többsége azonban túlnyomórészt az angol nyelvre összpontosult.
„Korlátozottan támogatottak az indiai nyelvek, ami annak tudható be, hogy véletlenül bekerült néhány indiai nyelvi adat, amelyek átsiklottak az adatszűrőkön a nyelvi modellek előképzése során. Az adatok megjelenítése, a tokenizátorok hatékonysága és az indiai nyelvek feladatteljesítménye azonban jelentősen elmarad az angolétól” – mondta az AI4Bharat Labs. mondta nyilatkozatában.
„A teljesítmény indiai nyelveken, még zárt forráskódú modelleken is, mint pl ChatGPT, GPT-4 és mások, gyengébb az angolhoz képest” – tette hozzá.
Az AI4Bharat kiadja az utasításhangolási adatkészleteket
Az AI4Bharat csapata kiadta az utasítás-tuningot is adatkészletek a modellhez az IndicLLM-ek további kutatásának lehetővé tétele érdekében.
Az „Airavata” olyan ember által összeállított adatkészletekre támaszkodik, amelyek megfelelnek a licencszerződéseknek az utasításokhoz hangolt modellek fejlesztéséhez. A csapat kifejezetten kerüli a védett modellekből előállított adatok felhasználását, mint pl GPT-4 mert ez növelné a költségeket és korlátozná e modellek ingyenes használatát más alkalmazásokban az engedélyezési korlátozások miatt.
Ehelyett a csapat úgy gondolja, hogy az ember által összeállított adatkészletek fenntarthatóbb megközelítést jelentenek a legtöbb indiai nyelv modelljéhez.
Az Airavata azonban, más LLM-ekhez hasonlóan, tipikus kihívásokkal szembesül. Ezek közé tartozik a hallucinációk lehetősége, amelyek koholt információkhoz vezetnek, és összetett vagy speciális témákban nehézségekbe ütközhetnek a pontossággal. Fennáll a kifogásolható vagy elfogult tartalom létrehozásának kockázata is.
A csapat tisztázta, hogy a modell kutatási célokat szolgál, és nem ajánlott termelési célra.
Korábban az AI4Bharat labor elindított egy nyílt forráskódú videótranszkreációs platformot – Chitralekha –, amely magában foglal egy munkaerő-menedzsment rendszert, amely megkönnyíti a videók teljes átültetését egyik nyelvről a másikra, beleértve az átírást, a fordítást és a lefordított nyelv hangtovábbítását.
Az EkStep – egy non-profit alapítvánnyal és az indiai Aadhaar projekt kidolgozásában meghatározó csapattal – együttműködésben jött létre.
Ezenkívül az AI4Bharat elindította a toborzási folyamatot a 2024–25-ös időszakra szóló AI rezidens és társult programjához. Ez az egy éves predoktori program az intenzív munkára helyezi a hangsúlyt természetes nyelvfeldolgozás (NLP), beszéd- és látásprojektek.
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Kumar tapasztalt műszaki újságíró, aki az AI/ML dinamikus metszéspontjaira, a marketingtechnológiára és az olyan feltörekvő területekre szakosodott, mint a kriptográfia, blokklánc és NFTs. Az iparágban szerzett több mint 3 éves tapasztalatával Kumar bevált eredményeket hozott fel lenyűgöző narratívák készítése, éleslátó interjúk készítése és átfogó betekintések nyújtása terén. A Kumar szakértelme abban rejlik, hogy nagy hatású tartalmakat készít, ideértve cikkeket, jelentéseket és kutatási publikációkat prominens iparági platformok számára. A technikai tudást és a történetmesélést ötvöző egyedülálló készségkészletével Kumar kiválóan kommunikál összetett technológiai koncepciókkal a különböző közönségekkel, világos és vonzó módon.
További cikkek
Kumar tapasztalt műszaki újságíró, aki az AI/ML dinamikus metszéspontjaira, a marketingtechnológiára és az olyan feltörekvő területekre szakosodott, mint a kriptográfia, blokklánc és NFTs. Az iparágban szerzett több mint 3 éves tapasztalatával Kumar bevált eredményeket hozott fel lenyűgöző narratívák készítése, éleslátó interjúk készítése és átfogó betekintések nyújtása terén. A Kumar szakértelme abban rejlik, hogy nagy hatású tartalmakat készít, ideértve cikkeket, jelentéseket és kutatási publikációkat prominens iparági platformok számára. A technikai tudást és a történetmesélést ötvöző egyedülálló készségkészletével Kumar kiválóan kommunikál összetett technológiai koncepciókkal a különböző közönségekkel, világos és vonzó módon.
