Το Facebook αναπτύσσει μια νέα μέθοδο για τον διπλασιασμό της απόδοσης των μετασχηματιστών AI
Εν συντομία
Το Facebook έχει αναπτύξει μια νέα μέθοδο για τον διπλασιασμό της απόδοσης των μετασχηματιστών AI με βάση την αρχιτεκτονική του μετασχηματιστή.
Η νέα μέθοδος βρίσκει τα πιο παρόμοια patches στα κενά μεταξύ της επεξεργασίας διαφορετικών μπλοκ και τα συνδυάζει για να μειώσει την υπολογιστική πολυπλοκότητα.
Το Facebook έχει αναπτύξει ένα Νέα μέθοδο για τον διπλασιασμό της απόδοσης των μετασχηματιστών AI. Η μέθοδος είναι με βάση την αρχιτεκτονική του μετασχηματιστή και έχει σχεδιαστεί ειδικά για κείμενο μεγάλης μορφής, όπως βιβλία, άρθρα και ιστολόγια. Ο στόχος του νέου μετασχηματιστή AI είναι να βελτιώσει την απόδοση του μοντέλα που βασίζονται σε μετασχηματιστές σε κείμενο μεγάλης μορφής, καθιστώντας το πιο αποτελεσματικό και αποτελεσματικό στο χειρισμό μεγάλων ακολουθιών. Τα αποτελέσματα του μετασχηματιστή AI είναι πολλά υποσχόμενα και αυτή η νέα μέθοδος έχει την ευκαιρία να βοηθήσει στη βελτίωση της απόδοσης των μοντέλων που βασίζονται σε μετασχηματιστές σε μια ποικιλία εργασιών.
Αυτή η νέα μέθοδος αναμένεται να έχει σημαντικό αντίκτυπο στις εργασίες επεξεργασίας φυσικής γλώσσας, όπως η μετάφραση γλώσσας, η σύνοψη και τα συστήματα απάντησης ερωτήσεων. Αναμένεται επίσης να οδηγήσει στην ανάπτυξη πιο εξελιγμένων μοντέλων τεχνητής νοημοσύνης που μπορούν να χειριστούν μεγαλύτερα και πιο σύνθετα κείμενα.
| Διαβάστε περισσότερα: 10+ καλύτεροι επεξεργαστές φωτογραφιών AI 2023: Online και δωρεάν |
Για να επεξεργαστούν την εικόνα, οι σύγχρονοι μετασχηματιστές την κόβουν σε μπαλώματα (συνήθως τετράγωνα: δείτε το gif παρακάτω) και στη συνέχεια λειτουργούν με αναπαραστάσεις αυτών των σωματιδίων, καθένα από τα οποία αντιπροσωπεύεται από ένα «κουπόνι». Οι μετασχηματιστές, όπως γνωρίζουμε, λειτουργούν πιο αργά όσο περισσότερα από αυτά τα κομμάτια συμβολισμών υπάρχουν (αυτό ισχύει τόσο για κείμενα όσο και για εικόνες) και ο πιο συνηθισμένος μετασχηματιστής έχει μια τετραγωνική σχέση. Δηλαδή, όσο περισσότερα token προστίθενται, τόσο πιο αργή γίνεται η επεξεργασία. Για την αντιμετώπιση αυτού του ζητήματος, οι ερευνητές έχουν προτείνει διάφορες τεχνικές για τη μείωση του αριθμού των διακριτικών που απαιτούνται για την επεξεργασία εικόνας, όπως η ιεραρχική και η προσαρμοστική συγκέντρωση. Αυτές οι μέθοδοι στοχεύουν στη διατήρηση της ποιότητας της παραγωγής με παράλληλη ελαχιστοποίηση του υπολογιστικού κόστους.
Η νέα μέθοδος βρίσκει τα πιο παρόμοια patches στα κενά μεταξύ της επεξεργασίας διαφορετικών μπλοκ και τα συνδυάζει για να μειώσει την υπολογιστική πολυπλοκότητα. Το μερίδιο των συγχωνευμένων διακριτικών είναι μια υπερπαράμετρος. όσο πιο ψηλά είναι τόσο χαμηλότερη είναι η ποιότητα αλλά και τόσο μεγαλύτερη η επιτάχυνση. Τα πειράματα δείχνουν ότι είναι δυνατή η συγχώνευση περίπου του 40% των tokens με απώλεια ποιότητας 0.1-0.4% και η διπλή επιτάχυνση (άρα καταναλώνοντας λιγότερη μνήμη). Αυτή η νέα μέθοδος είναι μια πολλά υποσχόμενη λύση για τη μείωση της υπολογιστικής πολυπλοκότητας της επεξεργασίας εικόνας και θα μπορούσε να επιτρέψει ταχύτερη και αποτελεσματικότερη επεξεργασία χωρίς να διακυβεύεται η ποιότητα της τελικής παραγωγής.
Τέτοιες μηχανικές προσεγγίσεις που βασίζονται στην εφευρετικότητα και την κατανόηση του πώς λειτουργεί κάτι φαίνονται πολύ ελκυστικές. Επίσης, οι προγραμματιστές του Meta υπόσχονται να φέρουν περισσότερα στο StableDiffusion για να επιταχύνουν τα πράγματα και εκεί. Είναι φοβερό ότι, επειδή οι μετασχηματιστές υπάρχουν παντού, τέτοια κόλπα μπορούν να εφαρμοστούν γρήγορα σε μια μεγάλη γκάμα μοντέλων. Αυτό δείχνει τη δυνατότητα οι λύσεις μηχανικής να έχουν ευρύ αντίκτυπο σε διάφορους κλάδους. Θα είναι ενδιαφέρον να δούμε πώς θα γίνουν αυτές οι εξελίξεις μοντέλα μετασχηματιστών θα συνεχίσει να εξελίσσεται και να βελτιώνεται με την πάροδο του χρόνου.
- Meta AI και Paperswithcode κυκλοφόρησαν το πρώτο μοντέλο 120B Galactica εκπαιδευμένο σε επιστημονικά κείμενα, επιτρέποντας πιο ακριβείς και γρήγορες προβλέψεις. Ο στόχος του Galactica είναι να βοηθήσει τους ερευνητές να διαχωρίσουν το σημαντικό από το άσχετο.
Διαβάστε περισσότερα σχετικά νέα:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
