AI4Bharat julkaisee "Airavatan", mukautetun LLM:n hindin kielen parantamiseksi tekoälymalleissa
Lyhyesti
Intialainen AI4Bharat ilmoitti julkaisevansa "Airavatan", LLM:n, joka parantaa hindin kielen tukea tekoälymalleissa ja joka on rakennettu hienosäätämällä OpenHathia.
Intialaisen korkeakoulun IIT Madrasin tekoälytutkimuslaboratorio AI4Bharat julkaisi Airavatan, hindille ohjeistetun mallin. Ilmoituksen mukaan malli on rakennettu hienosäätämällä Sarvam AI:n OpenHathia erilaisilla hindi-tietosarjoilla, jotta se soveltuu paremmin aputehtäviin.
Hindi on Intian puhutuin kieli, jonka äidinkielenään puhuu yli 43 prosenttia.
"Tällä hetkellä Airavata tukee hindiä, mutta aiomme laajentaa sen pian kaikkiin 22 aikataulutettuun intian kieleen", sanoi tekoälylaboratorio. LinkedIn-viesti. On tärkeää huomata, että suorituskyky suuria kielimalleja (LLM) luottaa korkealaatuisiin ohjeiden viritystietosarjoihin. Hindin kielelle on kuitenkin saatavilla niukasti erilaisia tietojoukkoja.
Merkittäviä edistysaskeleita on myös saavutettu kehitettäessä tietojoukkoja esikoulutusta varten, kuten RedPajama; ohjeiden viritys, kuten Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat; ja arviointiperusteet, kuten AlpacaEval, MT-Bench. Suurin osa näistä edistysaskeleista on kuitenkin keskittynyt pääasiassa englannin kieleen.
"Intian kieliä on rajoitetusti tuettu, mikä johtuu siitä, että intialaista kielen dataa on satunnaisesti sisällytetty tietosuodattimien läpi näiden kielimallien esikoulutuksen aikana. Intian kielten datan esitystapa, tokenisaattorien tehokkuus ja tehtävien suorittaminen ovat kuitenkin huomattavasti englannin kielistä jäljessä", AI4Bharat Labs sanoi lausunnossaan.
"Suorituskyky intialaisilla kielillä, jopa suljetun lähdekoodin malleissa, kuten ChatGPT, GPT-4 ja muut, on huonompi kuin englanti, se lisäsi.
AI4Bharat julkaisee ohjeiden viritystietojoukot
AI4Bharat-tiimi julkaisi myös ohjevirityksen aineistot käytetään mallissa mahdollistamaan lisätutkimusta IndicLLM:ille.
"Airavata" luottaa ihmisten kuratoimiin tietokokonaisuuksiin, jotka ovat lisenssisopimusten mukaisia ohjeiden mukaisten mallien kehittämiseksi. Tiimi erityisesti välttää käyttämästä tietoja, jotka on luotu patentoiduista malleista, kuten GPT-4 koska se nostaisi kustannuksia ja rajoittaisi näiden mallien ilmaista käyttöä muissa sovelluksissa lisenssirajoitusten vuoksi.
Sen sijaan tiimi uskoo, että ihmisen kuratoimat tietojoukot ovat kestävämpi tapa rakentaa malleja useimmille intialaisille kielille.
Airavata, kuten muutkin LLM:t, kohtaa kuitenkin tyypillisiä haasteita. Näihin sisältyy mahdollisuus hallusinaatioihin, jotka johtavat väärennetylle tiedolle ja saattavat kamppailla tarkkuuden kanssa monimutkaisissa tai erikoistuneissa aiheissa. On myös olemassa vaara, että tuotetaan vastenmielistä tai puolueellista sisältöä.
Tiimi selvensi, että malli on tutkimustarkoituksiin eikä sitä suositella tuotantokäyttöön.
Aiemmin AI4Bharat-laboratorio lanseerasi avoimen lähdekoodin videonsiirtoalustan – Chitralekhan – joka sisältää työvoimanhallintajärjestelmän, joka helpottaa videon täydellistä muuntamista kielestä toiseen, kattaa käännetyn kielen transkription, kääntämisen ja selostuksen.
Se luotiin yhteistyössä EkStepin kanssa – voittoa tavoittelemattoman säätiön ja tiimin kanssa, joka oli avainasemassa Intian Aadhaar-projektin kehittämisessä.
Lisäksi AI4Bharat on käynnistänyt rekrytointiprosessin tekoälyn asukas- ja osakkuusohjelmaansa varten kaudelle 2024–25. Tämä vuoden mittainen esitohtoriohjelma painottaa intensiivistä työtä luonnollinen kielenkäsittely (NLP), puhe- ja visioprojektit.
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Kumar on kokenut teknologiatoimittaja, joka on erikoistunut AI/ML:n dynaamisiin risteyksiin, markkinointiteknologiaan ja nouseviin aloihin, kuten krypto-, lohkoketju- ja NFTs. Yli 3 vuoden kokemuksella alalta Kumar on saavuttanut todistetun ennätyksen vakuuttavien tarinoiden laatimisessa, oivaltavien haastattelujen tekemisessä ja kattavien näkemysten toimittamisessa. Kumarin asiantuntemus perustuu vaikuttavan sisällön tuottamiseen, mukaan lukien artikkeleita, raportteja ja tutkimusjulkaisuja merkittäville alan alustoille. Ainutlaatuisella taitosarjalla, jossa yhdistyvät tekninen tietämys ja tarinankerronta, Kumar on erinomainen kommunikoimaan monimutkaisia teknologisia käsitteitä eri yleisöille selkeällä ja mukaansatempaavalla tavalla.
lisää artikkeleita
Kumar on kokenut teknologiatoimittaja, joka on erikoistunut AI/ML:n dynaamisiin risteyksiin, markkinointiteknologiaan ja nouseviin aloihin, kuten krypto-, lohkoketju- ja NFTs. Yli 3 vuoden kokemuksella alalta Kumar on saavuttanut todistetun ennätyksen vakuuttavien tarinoiden laatimisessa, oivaltavien haastattelujen tekemisessä ja kattavien näkemysten toimittamisessa. Kumarin asiantuntemus perustuu vaikuttavan sisällön tuottamiseen, mukaan lukien artikkeleita, raportteja ja tutkimusjulkaisuja merkittäville alan alustoille. Ainutlaatuisella taitosarjalla, jossa yhdistyvät tekninen tietämys ja tarinankerronta, Kumar on erinomainen kommunikoimaan monimutkaisia teknologisia käsitteitä eri yleisöille selkeällä ja mukaansatempaavalla tavalla.
