Το AI4Bharat κυκλοφορεί το «Airavata», ένα προσαρμοσμένο LLM για τη βελτίωση της γλώσσας Χίντι σε μοντέλα AI
Εν συντομία
Το AI4Bharat της Ινδίας ανακοίνωσε την κυκλοφορία του «Airavata», ενός LLM για τη βελτίωση της υποστήριξης της γλώσσας Χίντι σε μοντέλα AI, που δημιουργήθηκε από τη βελτίωση του OpenHathi.
Ερευνητικό εργαστήριο τεχνητής νοημοσύνης του Ινδικού Ινστιτούτου Ανώτατης Εκπαίδευσης IIT Madras AI4Bharat κυκλοφόρησε το Airavata, ένα μοντέλο ρυθμισμένο με οδηγίες για τα Χίντι. Σύμφωνα με την ανακοίνωση, το μοντέλο έχει κατασκευαστεί με τελειοποίηση του OpenHathi του Sarvam AI, με διαφορετικά σύνολα δεδομένων Χίντι για να είναι καλύτερα κατάλληλο για βοηθητικές εργασίες.
Τα Χίντι είναι η πιο ομιλούμενη γλώσσα στην Ινδία με πάνω από 43% φυσικούς ομιλητές.
«Προς το παρόν, η Airavata υποστηρίζει τα Χίντι, αλλά σκοπεύουμε να την επεκτείνουμε και στις 22 προγραμματισμένες γλώσσες Ινδικών σύντομα», δήλωσε το εργαστήριο AI σε μια Δημοσίευση LinkedIn. Είναι σημαντικό να σημειωθεί ότι η απόδοση του μεγάλα γλωσσικά μοντέλα (LLMs) βασίζεται σε υψηλής ποιότητας σύνολα δεδομένων συντονισμού εντολών. Ωστόσο, υπάρχει σπανιότητα διαφορετικών συνόλων δεδομένων που είναι διαθέσιμα για τα Χίντι.
Σημαντική πρόοδος έχει επίσης σημειωθεί στην ανάπτυξη συνόλων δεδομένων για προεκπαίδευση όπως το RedPajama. συντονισμός οδηγιών όπως Alpaca, UltraChat, Dolly, OpenAssistant, LMSYS-Chat. και σημεία αναφοράς αξιολόγησης όπως AlpacaEval, MT-Bench. Ωστόσο, οι περισσότερες από αυτές τις εξελίξεις επικεντρώθηκαν κυρίως στην αγγλική γλώσσα.
«Υπάρχει κάποια περιορισμένη υποστήριξη για τις ινδικές γλώσσες, κάτι που μπορεί να αποδοθεί στην τυχαία συμπερίληψη ορισμένων δεδομένων ινδικής γλώσσας που πέρασαν από τα φίλτρα δεδομένων κατά την προεκπαίδευση αυτών των μοντέλων γλώσσας. Ωστόσο, η αναπαράσταση των δεδομένων, η αποτελεσματικότητα των tokenizers και η απόδοση εργασιών για τις ινδικές γλώσσες είναι σημαντικά πίσω από αυτή των αγγλικών», AI4Bharat Labs είπε στην ανακοίνωσή της.
«Η απόδοση στις ινδικές γλώσσες, ακόμη και σε μοντέλα κλειστού κώδικα, όπως π.χ ChatGPT, GPT-4 και άλλοι, είναι κατώτερο σε σύγκριση με τα αγγλικά», πρόσθεσε.
Το AI4Bharat εκδίδει σύνολα δεδομένων συντονισμού οδηγιών
Η ομάδα AI4Bharat κυκλοφόρησε επίσης την οδηγία-συντονισμό σύνολα δεδομένων χρησιμοποιείται για το μοντέλο για να επιτρέψει περαιτέρω έρευνα για τα IndicLLM.
Το "Airavata" βασίζεται σε σύνολα δεδομένων που επιμελούνται από τον άνθρωπο και είναι φιλικά προς τις συμφωνίες αδειοδότησης για την ανάπτυξη μοντέλων συντονισμένων με οδηγίες. Η ομάδα αποφεύγει συγκεκριμένα τη χρήση δεδομένων που δημιουργούνται από ιδιόκτητα μοντέλα όπως GPT-4 επειδή θα αύξανε το κόστος και θα περιόριζε τη δωρεάν χρήση αυτών των μοντέλων σε άλλες εφαρμογές λόγω περιορισμών αδειοδότησης.
Αντίθετα, η ομάδα πιστεύει ότι τα σύνολα δεδομένων που επιμελούνται από τον άνθρωπο είναι μια πιο βιώσιμη προσέγγιση για τη δημιουργία μοντέλων για τις περισσότερες ινδικές γλώσσες.
Ωστόσο, η Airavata, όπως και άλλα LLMs, αντιμετωπίζει τυπικές προκλήσεις. Αυτά περιλαμβάνουν μια πιθανότητα για παραισθήσεις, που οδηγεί σε κατασκευασμένες πληροφορίες και μπορεί να δυσκολεύονται με την ακρίβεια σε πολύπλοκα ή εξειδικευμένα θέματα. Υπάρχει επίσης ο κίνδυνος παραγωγής απαράδεκτου ή μεροληπτικού περιεχομένου.
Η ομάδα διευκρίνισε ότι το μοντέλο προορίζεται για ερευνητικούς σκοπούς και δεν συνιστάται για καμία περίπτωση χρήσης παραγωγής.
Προηγουμένως, το εργαστήριο AI4Bharat κυκλοφόρησε μια πλατφόρμα μεταγραφής βίντεο ανοιχτού κώδικα - Chitralekha - η οποία περιλαμβάνει ένα σύστημα διαχείρισης εργατικού δυναμικού που διευκολύνει την πλήρη διαδικασία μεταγραφής ενός βίντεο από τη μια γλώσσα στην άλλη, καλύπτοντας τη μεταγραφή, τη μετάφραση και τη φωνή για τη μεταφρασμένη γλώσσα.
Δημιουργήθηκε σε συνεργασία με το EkStep – ένα μη κερδοσκοπικό ίδρυμα και την ομάδα που συνέβαλε στην ανάπτυξη του έργου Aadhaar της Ινδίας.
Επιπλέον, η AI4Bharat έχει ξεκινήσει τη διαδικασία πρόσληψης για το πρόγραμμα κατοίκου και συνεργάτη της AI για την περίοδο 2024-25. Αυτό το ετήσιο προδιδακτορικό πρόγραμμα δίνει έμφαση στην εντατική εργασία σε επεξεργασία φυσικής γλώσσας (NLP), έργα ομιλίας και οράματος.
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Kumar είναι ένας έμπειρος Τεχνικός Δημοσιογράφος με εξειδίκευση στις δυναμικές διασταυρώσεις της AI/ML, της τεχνολογίας μάρκετινγκ και των αναδυόμενων τομέων όπως η κρυπτογράφηση, η αλυσίδα μπλοκ και η NFTμικρό. Με περισσότερα από 3 χρόνια εμπειρίας στον κλάδο, η Kumar έχει δημιουργήσει ένα αποδεδειγμένο ιστορικό στη δημιουργία συναρπαστικών αφηγήσεων, τη διεξαγωγή οξυδερκών συνεντεύξεων και την παροχή ολοκληρωμένων πληροφοριών. Η τεχνογνωσία της Kumar έγκειται στην παραγωγή περιεχομένου υψηλής απήχησης, συμπεριλαμβανομένων άρθρων, εκθέσεων και ερευνητικών δημοσιεύσεων για εξέχουσες πλατφόρμες του κλάδου. Με ένα μοναδικό σύνολο δεξιοτήτων που συνδυάζει τεχνικές γνώσεις και αφήγηση, ο Kumar διαπρέπει στην επικοινωνία σύνθετων τεχνολογικών εννοιών σε διαφορετικά κοινά με σαφή και ελκυστικό τρόπο.
Περισσότερα άρθρα
Ο Kumar είναι ένας έμπειρος Τεχνικός Δημοσιογράφος με εξειδίκευση στις δυναμικές διασταυρώσεις της AI/ML, της τεχνολογίας μάρκετινγκ και των αναδυόμενων τομέων όπως η κρυπτογράφηση, η αλυσίδα μπλοκ και η NFTμικρό. Με περισσότερα από 3 χρόνια εμπειρίας στον κλάδο, η Kumar έχει δημιουργήσει ένα αποδεδειγμένο ιστορικό στη δημιουργία συναρπαστικών αφηγήσεων, τη διεξαγωγή οξυδερκών συνεντεύξεων και την παροχή ολοκληρωμένων πληροφοριών. Η τεχνογνωσία της Kumar έγκειται στην παραγωγή περιεχομένου υψηλής απήχησης, συμπεριλαμβανομένων άρθρων, εκθέσεων και ερευνητικών δημοσιεύσεων για εξέχουσες πλατφόρμες του κλάδου. Με ένα μοναδικό σύνολο δεξιοτήτων που συνδυάζει τεχνικές γνώσεις και αφήγηση, ο Kumar διαπρέπει στην επικοινωνία σύνθετων τεχνολογικών εννοιών σε διαφορετικά κοινά με σαφή και ελκυστικό τρόπο.
