Τα σημερινά μεγάλα γλωσσικά μοντέλα θα είναι μικρά μοντέλα, σύμφωνα με ερευνητή στο OpenAI
Ο Hyung Won Chung, ένας επιτυχημένος ερευνητής τεχνητής νοημοσύνης που εργαζόταν στο παρελθόν από την Google Brain και σήμερα είναι μέλος του OpenAI ομάδα, έδωσε μια προκλητική ομιλία 45 λεπτών στην οποία εξερεύνησε τον κόσμο των μεγάλων γλωσσικών μοντέλων το 2023. Ο Chung έχει εμπειρία στον τομέα. ήταν ο πρώτος συγγραφέας του άρθρου της Google "Κλιμάκωση Οδηγιών-Μοντέλα Γλωσσών με ακρίβεια,», το οποίο εξετάζει πώς τα μεγάλα γλωσσικά μοντέλα μπορούν να εκπαιδευτούν ώστε να ακολουθούν οδηγίες.
Ο Chung τονίζει ότι ο κόσμος των εκτεταμένων γλωσσικών μοντέλων είναι δυναμικός. Στον κόσμο των LLM, η κατευθυντήρια αρχή εξελίσσεται συνεχώς, σε αντίθεση με τα παραδοσιακά πεδία όπου οι θεμελιώδεις παραδοχές παραμένουν συνήθως σταθερές. Με την επερχόμενη γενιά μοντέλων, αυτό που προς το παρόν θεωρείται αδύνατο ή μη πρακτικό μπορεί να γίνει δυνατό. Τονίζει τη σημασία του να προλογίζονται οι περισσότεροι ισχυρισμοί σχετικά με τις δυνατότητες LLM με το «προς το παρόν». Ένα μοντέλο μπορεί να εκτελέσει μια εργασία. απλά δεν το έχει κάνει ακόμα.
Τα μεγάλα μοντέλα του σήμερα θα είναι μικρά μοντέλα σε λίγα μόνο χρόνια
Hyung Won Chung, OpenAI
Η ανάγκη για σχολαστική τεκμηρίωση και αναπαραγωγιμότητα σε Έρευνα AI είναι ένα από τα σημαντικότερα διδάγματα που πρέπει να αντληθούν από την ομιλία του Chung. Είναι σημαντικό να τεκμηριώνεται διεξοδικά η συνεχιζόμενη εργασία καθώς αναπτύσσεται το πεδίο. Αυτή η στρατηγική εγγυάται ότι τα πειράματα μπορούν να αναπαραχθούν γρήγορα και να επανεξεταστούν, επιτρέποντας στους ερευνητές να βασιστούν σε παλαιότερες εργασίες. Μέσω αυτής της πρακτικής, αναγνωρίζεται ότι μπορεί να αναπτυχθούν στο μέλλον δυνατότητες που δεν ήταν πρακτικές κατά την αρχική έρευνα.
Ο Chung αφιερώνει ένα μέρος της ομιλίας του στην αποσαφήνιση των περιπλοκών των δεδομένων και του παραλληλισμού μοντέλων. Για όσους ενδιαφέρονται να εμβαθύνουν στις τεχνικές πτυχές της τεχνητής νοημοσύνης, αυτή η ενότητα παρέχει πολύτιμες γνώσεις σχετικά με την εσωτερική λειτουργία αυτών των τεχνικών παραλληλισμού. Η κατανόηση αυτών των μηχανισμών είναι ζωτικής σημασίας για τη βελτιστοποίηση εκπαίδευση μοντέλων μεγάλης κλίμακας.
Ο Chung υποστηρίζει ότι η τρέχουσα αντικειμενική συνάρτηση, Maximum Likelihood, που χρησιμοποιείται για την προεκπαίδευση LLM είναι ένα εμπόδιο όταν πρόκειται για πραγματικά τεράστιες κλίμακες, όπως 10,000 φορές τη χωρητικότητα του GPT-4. Καθώς η μηχανική εκμάθηση προχωρά, οι χειροκίνητες λειτουργίες απώλειας γίνονται όλο και πιο περιοριστικές.
Ο Chung προτείνει ότι το επόμενο παράδειγμα στην ανάπτυξη της τεχνητής νοημοσύνης περιλαμβάνει λειτουργίες εκμάθησης μέσω ξεχωριστών αλγορίθμων. Αυτή η προσέγγιση, αν και βρίσκεται στην αρχή της, υπόσχεται επεκτασιμότητα πέρα από τους τρέχοντες περιορισμούς. Υπογραμμίζει επίσης τις συνεχιζόμενες προσπάθειες, όπως η Ενισχυτική Μάθηση από Ανθρώπινη Ανατροφοδότηση (RLHF) με Μοντελοποίηση Κανόνων, ως βήματα προς αυτή την κατεύθυνση, αν και απομένουν να ξεπεραστούν οι προκλήσεις.
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
