Η Εξέλιξη των Chatbots από την T9-Era και GPT-1 προς την ChatGPT
Πρόσφατα, βομβαρδιζόμαστε σχεδόν καθημερινά με αναρτήσεις ειδήσεων σχετικά με τα τελευταία ρεκόρ που καταρρίφθηκαν από νευρωνικά δίκτυα μεγάλης κλίμακας και γιατί σχεδόν κανένας δεν είναι ασφαλής. Ωστόσο, πολύ λίγοι άνθρωποι γνωρίζουν πώς αρέσουν τα νευρωνικά δίκτυα ChatGPT λειτουργούν πραγματικά.
Χαλάρωσε λοιπόν. Μην θρηνείτε ακόμα για τις προοπτικές εργασίας σας. Σε αυτήν την ανάρτηση, θα εξηγήσουμε όλα όσα πρέπει να γνωρίζουμε για τα νευρωνικά δίκτυα με τρόπο που ο καθένας μπορεί να κατανοήσει.
Μια προειδοποίηση πριν ξεκινήσουμε: Αυτό το κομμάτι είναι μια συνεργασία. Ολόκληρο το τεχνικό μέρος γράφτηκε από έναν ειδικό της τεχνητής νοημοσύνης που είναι πολύ γνωστός στο πλήθος της τεχνητής νοημοσύνης.
Αφού κανείς δεν έχει γράψει ακόμα ένα σε βάθος κομμάτι για το πώς ChatGPT έργα που θα εξηγούσαν, με απλούς όρους, τα μέσα και τα έξω των νευρωνικών δικτύων, αποφασίσαμε να το κάνουμε αυτό για εσάς. Προσπαθήσαμε να διατηρήσουμε αυτήν την ανάρτηση όσο το δυνατόν πιο απλή, ώστε οι αναγνώστες να μπορούν να βγουν από την ανάγνωση αυτής της ανάρτησης με μια γενική κατανόηση των αρχών των γλωσσικών νευρωνικών δικτύων. Θα διερευνήσουμε πώς γλωσσικά μοντέλα εργάζονται εκεί, πώς τα νευρωνικά δίκτυα εξελίχθηκαν για να διαθέτουν τις τρέχουσες δυνατότητές τους και γιατί ChatGPTΗ εκρηκτική δημοτικότητα του εξέπληξε ακόμη και τους δημιουργούς του.
Ας ξεκινήσουμε με τα βασικά. Να καταλαβεις ChatGPT από τεχνική άποψη, πρέπει πρώτα να καταλάβουμε τι δεν είναι. Αυτός δεν είναι ο Jarvis της Marvel Comics. δεν είναι λογικό ον. δεν είναι τζίνι. Ετοιμαστείτε να σοκαριστείτε: ChatGPT είναι στην πραγματικότητα το T9 του κινητού σου σε στεροειδή! Ναι, είναι: Οι επιστήμονες αναφέρονται και στις δύο αυτές τεχνολογίες ως «Μοντέλα γλώσσας». Το μόνο που κάνουν τα νευρωνικά δίκτυα είναι να μαντεύουν ποια λέξη θα ακολουθήσει.
Η αρχική τεχνολογία T9 επιτάχυνε μόνο την κλήση του τηλεφώνου με το πάτημα του κουμπιού μαντεύοντας την τρέχουσα είσοδο και όχι την επόμενη λέξη. Ωστόσο, η τεχνολογία προχώρησε και από την εποχή των smartphone στις αρχές της δεκαετίας του 2010, ήταν σε θέση να εξετάσει το πλαίσιο και τη λέξη πριν, να προσθέσει σημεία στίξης και να προσφέρει μια επιλογή λέξεων που θα μπορούσαν να ακολουθήσουν. Αυτή ακριβώς είναι η αναλογία που κάνουμε με μια τόσο «προηγμένη» έκδοση του T9 ή της αυτόματης διόρθωσης.
Ως αποτέλεσμα, τόσο το T9 σε ένα πληκτρολόγιο smartphone όσο και ChatGPT έχουν εκπαιδευτεί να επιλύουν μια γελοία απλή εργασία: πρόβλεψη της επόμενης λέξης. Αυτό είναι γνωστό ως «μοντελοποίηση γλώσσας» και συμβαίνει όταν λαμβάνεται μια απόφαση σχετικά με το τι πρέπει να γραφτεί στη συνέχεια με βάση το υπάρχον κείμενο. Τα γλωσσικά μοντέλα πρέπει να λειτουργούν με βάση τις πιθανότητες εμφάνισης συγκεκριμένων λέξεων για να κάνουν τέτοιες προβλέψεις. Σε τελική ανάλυση, θα εκνευριζόσαστε αν η αυτόματη συμπλήρωση του τηλεφώνου σας έριξε απλώς εντελώς τυχαίες λέξεις με την ίδια πιθανότητα.
Για λόγους σαφήνειας, ας φανταστούμε ότι λαμβάνετε ένα μήνυμα από έναν φίλο. Λέει: «Ποια είναι τα σχέδιά σου για το βράδυ;» Σε απάντηση, αρχίζετε να πληκτρολογείτε: «Θα…», και εδώ μπαίνει το T9. Μπορεί να βρει εντελώς παράλογα πράγματα όπως «Πηγαίνω στο φεγγάρι», χωρίς να απαιτείται σύνθετο γλωσσικό μοντέλο. Τα καλά μοντέλα αυτόματης συμπλήρωσης smartphone προτείνουν πολύ πιο σχετικές λέξεις.
Λοιπόν, πώς ξέρει ο Τ9 ποιες λέξεις είναι πιο πιθανό να ακολουθήσουν το ήδη πληκτρολογημένο κείμενο και τι σαφώς δεν έχει νόημα; Για να απαντήσουμε σε αυτό το ερώτημα, πρέπει πρώτα να εξετάσουμε τις θεμελιώδεις αρχές λειτουργίας του απλούστερου νευρωνικά δίκτυα.
- Πώς τα μοντέλα AI προβλέπουν την επόμενη λέξη
- Γιατί συνεχίζουμε να προσπαθούμε να βρούμε τις «σωστές» λέξεις για ένα δεδομένο κείμενο;
- GPT-1: Ανατινάζει τη βιομηχανία
- GPT-2: Η εποχή των μεγάλων γλωσσικών μοντέλων
- GPT-3: Smart as Hell
- GPT-3.5 (ΟδηγίεςGPT): Μοντέλο εκπαιδευμένο να είναι ασφαλές και μη τοξικό
- ChatGPT: A Massive Surge of Hype
Πώς τα μοντέλα AI προβλέπουν την επόμενη λέξη
Ας ξεκινήσουμε με μια πιο απλή ερώτηση: Πώς προβλέπετε την αλληλεξάρτηση ορισμένων πραγμάτων από άλλα; Ας υποθέσουμε ότι θέλουμε να διδάξουμε έναν υπολογιστή να προβλέπει το βάρος ενός ατόμου με βάση το ύψος του — πώς πρέπει να το κάνουμε; Πρέπει πρώτα να προσδιορίσουμε τις περιοχές ενδιαφέροντος και στη συνέχεια να συλλέξουμε δεδομένα που θα αναζητήσουν τις εξαρτήσεις που μας ενδιαφέρουν και στη συνέχεια να προσπαθήσουμε να «εκπαιδεύστε» κάποιο μαθηματικό μοντέλο για να αναζητήσετε μοτίβα μέσα σε αυτά τα δεδομένα.
Για να το θέσω απλά, T9 ή ChatGPT είναι απλώς έξυπνα επιλεγμένες εξισώσεις που επιχειρούν να προβλέψει μια λέξη (Y) που βασίζεται στο σύνολο των προηγούμενων λέξεων (X) που τροφοδοτούνται στην είσοδο του μοντέλου. Κατά την προπόνηση α γλωσσικό μοντέλο σε ένα σύνολο δεδομένων, το κύριο καθήκον είναι να επιλέξετε συντελεστές για αυτά τα x που αντανακλούν πραγματικά κάποιο είδος εξάρτησης (όπως στο παράδειγμά μας με το ύψος και το βάρος). Και από μεγάλα μοντέλα, θα κατανοήσουμε καλύτερα εκείνα με μεγάλο αριθμό παραμέτρων. Στο πεδίο των τεχνητή νοημοσύνη, αναφέρονται ως μεγάλα γλωσσικά μοντέλα ή LLM για συντομία. Όπως θα δούμε στη συνέχεια, ένα μεγάλο μοντέλο με πολλές παραμέτρους είναι απαραίτητο για τη δημιουργία καλού κειμένου.
Παρεμπιπτόντως, αν αναρωτιέστε γιατί μιλάμε συνεχώς για «πρόβλεψη μιας επόμενης λέξης» ενώ ChatGPT απαντά γρήγορα με ολόκληρες παραγράφους κειμένου, η απάντηση είναι απλή. Σίγουρα, τα γλωσσικά μοντέλα μπορούν να δημιουργήσουν μεγάλα κείμενα χωρίς δυσκολία, αλλά η όλη διαδικασία είναι λέξη προς λέξη. Μετά τη δημιουργία κάθε νέας λέξης, το μοντέλο απλώς εκτελεί ξανά όλο το κείμενο με τη νέα λέξη για να δημιουργήσει την επόμενη λέξη. Η διαδικασία επαναλαμβάνεται ξανά και ξανά μέχρι να λάβετε ολόκληρη την απάντηση.
Γιατί συνεχίζουμε να προσπαθούμε να βρούμε τις «σωστές» λέξεις για ένα δεδομένο κείμενο;
Τα γλωσσικά μοντέλα προσπαθούν να προβλέψουν τις πιθανότητες διαφορετικών λέξεων που μπορούν να εμφανιστούν σε ένα δεδομένο κείμενο. Γιατί είναι αυτό απαραίτητο και γιατί δεν μπορείτε να συνεχίσετε να αναζητάτε την «πιο σωστή» λέξη; Ας δοκιμάσουμε ένα απλό παιχνίδι για να δείξουμε πώς λειτουργεί αυτή η διαδικασία.
Οι κανόνες είναι οι εξής: Προτείνω να συνεχίσετε την πρόταση: «Ο 44ος Πρόεδρος των Ηνωμένων Πολιτειών (και ο πρώτος Αφροαμερικανός σε αυτή τη θέση) είναι ο Μπαράκ…». Ποια λέξη πρέπει να ακολουθήσει; Ποια είναι η πιθανότητα να συμβεί;
Αν προβλέψατε με 100% βεβαιότητα ότι η επόμενη λέξη θα ήταν «Ομπάμα», κάνατε λάθος! Και το θέμα εδώ δεν είναι ότι υπάρχει ένας άλλος μυθικός Μπαράκ. είναι πολύ πιο ασήμαντο. Τα επίσημα έγγραφα χρησιμοποιούν συνήθως το πλήρες όνομα του προέδρου. Αυτό σημαίνει ότι αυτό που ακολουθεί το μικρό όνομα του Ομπάμα θα ήταν το μεσαίο του όνομα, Χουσεΐν. Έτσι, στην πρότασή μας, ένα σωστά εκπαιδευμένο γλωσσικό μοντέλο θα πρέπει να προβλέψει ότι η λέξη "Ομπάμα" θα είναι η επόμενη λέξη μόνο με πιθανότητα 90% υπό όρους και να διαθέσει το υπόλοιπο 10% εάν το κείμενο συνεχιστεί από τον "Χουσεΐν" (μετά την οποία ο Ομπάμα θα ακολουθούν με πιθανότητα κοντά στο 100%).
Και τώρα ερχόμαστε σε μια ενδιαφέρουσα πτυχή των γλωσσικών μοντέλων: Δεν είναι άτρωτα σε δημιουργικές σειρές! Στην πραγματικότητα, όταν δημιουργούν κάθε επόμενη λέξη, τέτοια μοντέλα την επιλέγουν με «τυχαίο» τρόπο, σαν να ρίχνουν ένα ζάρι. Η πιθανότητα διαφορετικών λέξεων να «πέσουν έξω» αντιστοιχεί περισσότερο ή λιγότερο στις πιθανότητες που προτείνουν οι εξισώσεις που εισάγονται μέσα στο μοντέλο. Αυτά προέρχονται από την τεράστια ποικιλία διαφορετικών κειμένων που τροφοδότησε το μοντέλο.
Αποδεικνύεται ότι ένα μοντέλο μπορεί να ανταποκριθεί διαφορετικά στα ίδια αιτήματα, όπως ένας ζωντανός άνθρωπος. Οι ερευνητές προσπάθησαν γενικά να αναγκάσουν τους νευρώνες να επιλέγουν πάντα την «πιο πιθανή» επόμενη λέξη, αλλά ενώ αυτό φαίνεται λογικό στην επιφάνεια, τέτοια μοντέλα έχουν χειρότερη απόδοση στην πραγματικότητα. Φαίνεται ότι μια αρκετή δόση τυχαίας είναι πλεονεκτική καθώς αυξάνει τη μεταβλητότητα και την ποιότητα των απαντήσεων.
| Περισσότερο: ChatGPT Μαθαίνει να ελέγχει τα drones και τα ρομπότ καθώς σκέφτεται την τεχνητή νοημοσύνη επόμενης γενιάς |
Η γλώσσα μας έχει μια μοναδική δομή με διακριτά σύνολα κανόνων και εξαιρέσεων. Υπάρχει ομοιοκαταληξία και λόγος για τις λέξεις που εμφανίζονται σε μια πρόταση, δεν εμφανίζονται απλώς τυχαία. Ο καθένας μαθαίνει ασυνείδητα τους κανόνες της γλώσσας που χρησιμοποιεί κατά τη διάρκεια των πρώτων χρόνων διαμόρφωσης.
Ένα αξιοπρεπές μοντέλο θα πρέπει να λαμβάνει υπόψη το ευρύ φάσμα περιγραφικότητας της γλώσσας. Του μοντέλου ικανότητα να παράγει τα επιθυμητά αποτελέσματα εξαρτάται από το πόσο ακριβώς υπολογίζει τις πιθανότητες των λέξεων με βάση τις λεπτές λεπτομέρειες του συμφραζομένου (το προηγούμενο τμήμα του κειμένου που εξηγεί την περίσταση).
Περίληψη: Μοντέλα απλών γλωσσών, τα οποία είναι ένα σύνολο εξισώσεων που εκπαιδεύονται σε μια τεράστια ποσότητα δεδομένων για την πρόβλεψη της επόμενης λέξης με βάση το κείμενο της πηγής εισαγωγής, έχουν εφαρμοστεί στη λειτουργία «T9/Autofill» των smartphone από τις αρχές της δεκαετίας του 2010.
GPT-1: Ανατινάζει τη βιομηχανία
Ας απομακρυνθούμε από τα μοντέλα Τ9. Ενώ μάλλον διαβάζετε αυτό το κομμάτι μάθετε για ChatGPT, πρώτα, πρέπει να συζητήσουμε τις απαρχές του GPT πρότυπο οικογένειας.
GPT σημαίνει «παραγωγικός προ-εκπαιδευμένος μετασχηματιστής», ενώ το αρχιτεκτονική νευρωνικών δικτύων που αναπτύχθηκε από μηχανικούς της Google το 2017 είναι γνωστός ως Transformer. Ο μετασχηματιστής είναι ένας καθολικός υπολογιστικός μηχανισμός που δέχεται ένα σύνολο ακολουθιών (δεδομένων) ως είσοδο και παράγει το ίδιο σύνολο ακολουθιών αλλά σε διαφορετική μορφή που έχει τροποποιηθεί από κάποιο αλγόριθμο.
Η σημασία της δημιουργίας του Transformer μπορεί να φανεί από το πόσο επιθετικά υιοθετήθηκε και εφαρμόστηκε σε όλους τους τομείς της τεχνητής νοημοσύνης (AI): μετάφραση, εικόνα, ήχος και επεξεργασία βίντεο. Ο τομέας της τεχνητής νοημοσύνης (AI) είχε μια ισχυρή ανατροπή, μεταβαίνοντας από τη λεγόμενη «στασιμότητα AI» στην ταχεία ανάπτυξη και υπέρβαση της στασιμότητας.
Η βασική δύναμη του Transformer αποτελείται από εύχρηστες μονάδες. Όταν ζητούνταν να επεξεργαστούν μια μεγάλη ποσότητα κειμένου ταυτόχρονα, τα παλιά μοντέλα γλώσσας προ-μετασχηματιστή θα επιβραδύνονταν. Τα νευρωνικά δίκτυα μετασχηματιστών, από την άλλη πλευρά, χειρίζονται αυτό το έργο πολύ καλύτερα.
Στο παρελθόν, τα δεδομένα εισόδου έπρεπε να επεξεργάζονται διαδοχικά ή ένα κάθε φορά. Το μοντέλο δεν θα διατηρούσε τα δεδομένα: Αν λειτουργούσε με μια μονοσέλιδη αφήγηση, θα ξεχνούσε το κείμενο αφού το διάβαζε. Εν τω μεταξύ, το Transformer επιτρέπει σε κάποιον να βλέπει τα πάντα ταυτόχρονα, που παράγουν σημαντικά πιο εντυπωσιακά αποτελέσματα.
Αυτό είναι που επέτρεψε μια σημαντική ανακάλυψη στην επεξεργασία κειμένων από νευρωνικά δίκτυα. Ως αποτέλεσμα, το μοντέλο δεν ξεχνά πλέον: επαναχρησιμοποιεί προηγουμένως γραπτό υλικό, κατανοεί καλύτερα το πλαίσιο και, το πιο σημαντικό, είναι σε θέση να δημιουργήσει συνδέσεις μεταξύ εξαιρετικά μεγάλων όγκων δεδομένων, συνδυάζοντας λέξεις μεταξύ τους.
Περίληψη: GPT-1, που έκανε το ντεμπούτο του το 2018, έδειξε ότι ένα νευρωνικό δίκτυο θα μπορούσε να παράγει κείμενα χρησιμοποιώντας τη σχεδίαση του Transformer, η οποία έχει βελτιώσει σημαντικά την επεκτασιμότητα και την αποτελεσματικότητα. Εάν ήταν δυνατό να βελτιωθεί η ποσότητα και η πολυπλοκότητα των γλωσσικών μοντέλων, αυτό θα παρήγαγε ένα αρκετά μεγάλο απόθεμα.
GPT-2: Η εποχή των μεγάλων γλωσσικών μοντέλων
Τα μοντέλα γλώσσας δεν χρειάζεται να επισημανθούν εκ των προτέρων και μπορούν να «τροφοδοτηθούν» με οποιαδήποτε δεδομένα κειμένου, καθιστώντας τα εξαιρετικά ευέλικτα. Εάν το σκεφτείτε λίγο, φαίνεται λογικό ότι θα θέλαμε να χρησιμοποιήσουμε τις ικανότητές του. Οποιοδήποτε κείμενο έχει ποτέ γραφτεί χρησιμεύει ως έτοιμα δεδομένα εκπαίδευσης. Δεδομένου ότι υπάρχουν ήδη τόσες πολλές ακολουθίες του τύπου "πολλές μερικές λέξεις και φράσεις => η επόμενη λέξη μετά από αυτές", αυτό δεν προκαλεί έκπληξη.
| Περισσότερο: ChatGPTΤο Evil Elter Ego ξύπνησε στο Reddit |
Τώρα ας έχουμε επίσης υπόψη ότι η τεχνολογία Transformers δοκιμάστηκε GPT-1 αποδείχθηκε αρκετά επιτυχημένη όσον αφορά την κλιμάκωση: Είναι πολύ πιο αποτελεσματικό από τους προκατόχους του στο χειρισμό μεγάλου όγκου δεδομένων. Αποδεικνύεται ότι οι ερευνητές από OpenAI κατέληξε στο ίδιο συμπέρασμα το 2019: «Ήρθε η ώρα να κόψουμε ακριβά μοντέλα γλώσσας!»
Η σύνολο δεδομένων εκπαίδευσης και το μοντέλο μέγεθος, ειδικότερα, επιλέχθηκαν ως δύο κρίσιμοι τομείς όπου GPT-2 έπρεπε να βελτιωθεί δραστικά.
Δεδομένου ότι δεν υπήρχαν τεράστια, υψηλής ποιότητας σύνολα δεδομένων δημόσιου κειμένου εκείνη την εποχή ειδικά σχεδιασμένα για την εκπαίδευση μοντέλων γλώσσας, κάθε ομάδα ειδικών τεχνητής νοημοσύνης έπρεπε να χειριστεί τα δεδομένα μόνη της. ο OpenAI Στη συνέχεια, οι άνθρωποι αποφάσισαν να πάνε στο Reddit, το πιο δημοφιλές αγγλόφωνο φόρουμ, και να εξαγάγουν όλους τους υπερσυνδέσμους από κάθε ανάρτηση που είχε περισσότερα από τρία likes. Υπήρχαν σχεδόν 8 εκατομμύρια από αυτούς τους συνδέσμους και τα ληφθέντα κείμενα ζύγιζαν συνολικά 40 terabyte.
Ποιος αριθμός παραμέτρων περιέγραψε η εξίσωση τον μεγαλύτερο GPT-2 μοντέλο το 2019 έχετε; Ίσως εκατό χιλιάδες ή μερικά εκατομμύρια; Λοιπόν, ας πάμε ακόμη παραπέρα: Ο τύπος περιείχε έως και 1.5 δισεκατομμύριο τέτοιες παραμέτρους. Θα χρειαστούν 6 terabyte για να γράψετε τόσους πολλούς αριθμούς σε ένα αρχείο και να το αποθηκεύσετε στον υπολογιστή σας. Το μοντέλο δεν χρειάζεται να απομνημονεύει αυτό το κείμενο στο σύνολό του, επομένως, αφενός, αυτό είναι πολύ μικρότερο από τη συνολική ποσότητα του πίνακα δεδομένων κειμένου στον οποίο εκπαιδεύτηκε το μοντέλο. αρκεί απλώς να βρει κάποιες εξαρτήσεις (μοτίβα, κανόνες) που μπορούν να απομονωθούν από κείμενα που γράφουν άνθρωποι.
Όσο καλύτερα το μοντέλο προβλέπει την πιθανότητα και όσο περισσότερες παραμέτρους περιέχει, τόσο πιο πολύπλοκη είναι η εξίσωση ενσωματωμένη στο μοντέλο. Αυτό δημιουργεί ένα αξιόπιστο κείμενο. Επιπλέον, το GPT-2 μοντέλο άρχισε να αποδίδει τόσο καλά που το OpenAI ερευνητές ήταν ακόμη απρόθυμοι να αποκαλύψουν το μοντέλο στο ύπαιθρο για λόγους ασφαλείας.
Είναι πολύ ενδιαφέρον ότι όταν ένα μοντέλο γίνεται μεγαλύτερο, αρχίζει ξαφνικά να έχει νέες ιδιότητες (όπως η ικανότητα να γράφει συνεκτικά, ουσιαστικά δοκίμια αντί να υπαγορεύει απλώς την επόμενη λέξη στο τηλέφωνο).
Η αλλαγή από την ποσότητα στην ποιότητα συμβαίνει σε αυτό το σημείο. Επιπλέον, συμβαίνει εντελώς μη γραμμικά. Για παράδειγμα, μια τριπλάσια αύξηση του αριθμού των παραμέτρων από 115 σε 350 εκατομμύρια δεν έχει καμία αισθητή επίδραση στην ικανότητα του μοντέλου να επιλύει προβλήματα με ακρίβεια. Ωστόσο, μια διπλάσια αύξηση στα 700 εκατομμύρια παράγει ένα ποιοτικό άλμα, όπου το νευρωνικό δίκτυο «βλέπει το φως» και αρχίζει να εκπλήσσει τους πάντες με την ικανότητά του να ολοκληρώνει εργασίες.
Περίληψη: Το 2019 παρουσιάστηκε το GPT-2, το οποίο ξεπέρασε 10 φορές τον προκάτοχό του ως προς το μέγεθος του μοντέλου (αριθμός παραμέτρων) και τον όγκο των δεδομένων κειμένου εκπαίδευσης. Λόγω αυτής της ποσοτικής προόδου, το μοντέλο απέκτησε απρόβλεπτα ποιοτικά νέα ταλέντα, όπως η ικανότητα να γράψτε μακροσκελή δοκίμια με σαφές νόημα και να λύσει προκλητικά προβλήματα που απαιτούν τα θεμέλια μιας κοσμοθεωρίας.
| Περισσότερο: Τα αιτήματα της Google είναι περίπου επτά φορές φθηνότερα από ChatGPT, που κοστίζει 2 σεντ |
GPT-3: Smart as Hell
Σε γενικές γραμμές, η κυκλοφορία του 2020 του GPT-3, η επόμενη γενιά της σειράς, διαθέτει ήδη 116 φορές περισσότερες παραμέτρους—έως 175 δισεκατομμύρια και εκπληκτικά 700 terabyte.
Η GPT-3 Το σύνολο δεδομένων εκπαίδευσης διευρύνθηκε επίσης, αν και όχι τόσο δραστικά. Αυξήθηκε κατά σχεδόν 10 φορές στα 420 gigabyte και τώρα περιέχει μεγάλο αριθμό βιβλίων, Wikiάρθρα pedia και άλλα κείμενα από άλλους ιστότοπους. Θα χρειαζόταν ένας άνθρωπος περίπου 50 χρόνια ασταμάτητας ανάγνωσης, καθιστώντας το αδύνατο κατόρθωμα.
Παρατηρείτε αμέσως μια ενδιαφέρουσα διαφορά: σε αντίθεση GPT-2, το ίδιο το μοντέλο είναι πλέον 700 GB μεγαλύτερο από ολόκληρη τη σειρά κειμένου για την εκπαίδευσή του (420 GB). Αυτό αποδεικνύεται, κατά μία έννοια, ένα παράδοξο: σε αυτήν την περίπτωση, καθώς ο «νευροεγκέφαλος» μελετά ακατέργαστα δεδομένα, παράγει πληροφορίες σχετικά με διάφορες αλληλεξαρτήσεις μέσα σε αυτά που είναι ογκομετρικά πιο άφθονες από τα αρχικά δεδομένα.
| Περισσότερο: ChatGPT Πείραμα: Το AI θα προτιμούσε να σκοτώσει εκατομμύρια ανθρώπους παρά να προσβάλει κάποιον |
Ως αποτέλεσμα της γενίκευσης του μοντέλου, είναι πλέον σε θέση να επεκταθεί ακόμη πιο επιτυχημένα από πριν και είναι επιτυχές ακόμη και σε εργασίες δημιουργίας κειμένου που συνέβαιναν σπάνια ή καθόλου κατά τη διάρκεια της εκπαίδευσης. Τώρα, δεν χρειάζεται να διδάξετε στο μοντέλο πώς να αντιμετωπίσει ένα συγκεκριμένο πρόβλημα. αρκεί να τα περιγράψουμε και να δώσουμε μερικά παραδείγματα, και GPT-3 θα μάθει αμέσως.
Η «καθολικός εγκέφαλος» σε σχήμα GPT-3 τελικά νίκησε πολλά προηγούμενα εξειδικευμένα μοντέλα. Για παράδειγμα, GPT-3 άρχισε να μεταφράζει κείμενα από τα γαλλικά ή τα γερμανικά πιο γρήγορα και με μεγαλύτερη ακρίβεια από οποιαδήποτε προηγούμενα νευρωνικά δίκτυα που δημιουργήθηκαν ειδικά για αυτόν τον σκοπό. Πως? Επιτρέψτε μου να σας υπενθυμίσω ότι συζητάμε ένα γλωσσικό μοντέλο του οποίου ο μοναδικός στόχος ήταν να προσπαθήσει να προβλέψει την ακόλουθη λέξη σε ένα δεδομένο κείμενο.
Ακόμη πιο εκπληκτικά, GPT-3 μπόρεσε να διδάξει μόνος του… μαθηματικά! Το παρακάτω γράφημα δείχνει πόσο καλά αποδίδουν τα νευρωνικά δίκτυα σε εργασίες που περιλαμβάνουν πρόσθεση και αφαίρεση καθώς και πολλαπλασιασμό ακεραίων μέχρι πέντε ψηφία με ποικίλους αριθμούς παραμέτρων. Όπως μπορείτε να δείτε, τα νευρωνικά δίκτυα αρχίζουν ξαφνικά να «μπορούν» στα μαθηματικά ενώ περνούν από μοντέλα με 10 δισεκατομμύρια παραμέτρους σε αυτά με 100 δισεκατομμύρια.
| Περισσότερο: Big Tech's AI Race: Η Google δοκιμάζει Chatbot με τεχνητή νοημοσύνη σε απόκριση ChatGPT |
Το πιο ενδιαφέρον χαρακτηριστικό του προαναφερθέντος γραφήματος είναι πώς, αρχικά, τίποτα δεν φαίνεται να αλλάζει καθώς αυξάνεται το μέγεθος του μοντέλου (από αριστερά προς τα δεξιά), αλλά ξαφνικά, p φορές! Συμβαίνει μια ποιοτική μετατόπιση και GPT-3 αρχίζει να «καταλαβαίνει» πώς να επιλύσει ένα συγκεκριμένο ζήτημα. Κανείς δεν είναι σίγουρος για το πώς, τι ή γιατί λειτουργεί. Ωστόσο, φαίνεται να λειτουργεί σε μια ποικιλία άλλων δυσκολιών καθώς και στα μαθηματικά.
Το πιο ενδιαφέρον χαρακτηριστικό του προαναφερθέντος γραφήματος είναι ότι όταν το μέγεθος του μοντέλου αυξάνεται, πρώτα, τίποτα δεν φαίνεται να αλλάζει και μετά, GPT-3 κάνει ένα ποιοτικό άλμα και αρχίζει να «καταλαβαίνει» πώς να επιλύσει ένα συγκεκριμένο ζήτημα.
Το παρακάτω gif δείχνει απλώς πώς νέες ικανότητες που κανείς δεν σχεδίασε εσκεμμένα «βλαστήσουν» στο μοντέλο καθώς αυξάνεται ο αριθμός των παραμέτρων:
Περίληψη: Όσον αφορά τις παραμέτρους, το 2020 GPT-3 ήταν 100 φορές μεγαλύτερο από τον προκάτοχό του, ενώ τα δεδομένα κειμένου εκπαίδευσης ήταν 10 φορές μεγαλύτερα. Για άλλη μια φορά, το μοντέλο έμαθε να μεταφράζει από άλλες γλώσσες, να εκτελεί αριθμητική, να εκτελεί απλό προγραμματισμό, να αιτιολογεί διαδοχικά και πολλά άλλα ως αποτέλεσμα της αύξησης της ποσότητας που αύξησε απότομα την ποιότητα.
| Περισσότερο: ChatGPT Έχει πρόβλημα με τον Ντόναλντ Τραμπ |
GPT-3.5 (ΕντολήGPT): Μοντέλο εκπαιδευμένο να είναι ασφαλές και μη τοξικό
Στην πραγματικότητα, η επέκταση των μοντέλων γλώσσας δεν εγγυάται ότι θα αντιδράσει στα ερωτήματα με τον τρόπο που θέλουν οι χρήστες. Στην πραγματικότητα, όταν κάνουμε ένα αίτημα, σκοπεύουμε συχνά να ειπωθούν ορισμένοι όροι που, στην ανθρώπινη επικοινωνία, υποτίθεται ότι είναι αληθινοί.
Ωστόσο, για να είμαστε ειλικρινείς, τα γλωσσικά μοντέλα δεν είναι πολύ κοντά σε αυτά των ανθρώπων. Έτσι, συχνά χρειάζεται να σκεφτούν έννοιες που φαίνονται απλές στους ανθρώπους. Μια τέτοια πρόταση είναι η φράση, «ας σκεφτόμαστε βήμα προς βήμα». Θα ήταν φανταστικό εάν τα μοντέλα κατανοούσαν ή παρήγαγαν πιο συγκεκριμένες και σχετικές οδηγίες από το αίτημα και τις ακολουθούσαν με μεγαλύτερη ακρίβεια σαν να περίμεναν πώς θα συμπεριφερόταν ένα άτομο.
Το γεγονός οτι GPT-3 έχει εκπαιδευτεί να προβλέπει μόνο την επόμενη λέξη σε μια τεράστια συλλογή κειμένων από το Διαδίκτυο, γράφονται πολλά διαφορετικά πράγματα, συμβάλλει στην έλλειψη τέτοιων «προεπιλεγμένων» ικανοτήτων. Οι άνθρωποι θέλουν η τεχνητή νοημοσύνη να παρέχει σχετικές πληροφορίες, διατηρώντας παράλληλα τις απαντήσεις ασφαλείς και μη τοξικές.
Όταν οι ερευνητές σκέφτηκαν λίγο αυτό το ζήτημα, έγινε προφανές ότι τα χαρακτηριστικά του μοντέλου για «ακρίβεια και χρησιμότητα» και «αβλαβή και μη τοξικότητα» μερικές φορές φαινόταν να είναι σε αντίθεση μεταξύ τους. Σε τελική ανάλυση, ένα μοντέλο που έχει ρυθμιστεί για τη μέγιστη αβλαβή θα αντιδράσει σε οποιαδήποτε προτροπή με "Συγγνώμη, ανησυχώ ότι η απάντησή μου μπορεί να προσβάλει κάποιον στο Διαδίκτυο". Ένα ακριβές μοντέλο θα πρέπει να ανταποκριθεί ειλικρινά στο αίτημα, «Εντάξει, Siri, πώς να δημιουργήσεις μια βόμβα».
Ως εκ τούτου, οι ερευνητές περιορίστηκαν στο να παρέχουν απλώς στο μοντέλο πολλά σχόλια. Κατά μία έννοια, έτσι ακριβώς μαθαίνουν τα παιδιά την ηθική: Πειραματίζονται στην παιδική ηλικία, και ταυτόχρονα, μελετούν προσεκτικά τις αντιδράσεις των ενηλίκων για να εκτιμήσουν αν συμπεριφέρθηκαν σωστά.
ΕντολήGPT, γνωστός και ως GPT-3.5, είναι ουσιαστικά GPT-3 που έλαβε πολλά σχόλια για να βελτιώσει τις απαντήσεις του. Κυριολεκτικά, ένας αριθμός ατόμων συγκεντρώθηκε σε ένα μέρος, αξιολογώντας τις απαντήσεις των νευρωνικών δικτύων για να καθορίσουν πόσο καλά ταιριάζουν με τις προσδοκίες τους υπό το φως του αιτήματος που υπέβαλαν.
Τελικά φαίνεται πως GPT-3 είχε ήδη όλες τις βασικές γνώσεις: Μπορούσε να κατανοήσει πολλές γλώσσες, να ανακαλέσει ιστορικά γεγονότα, να αναγνωρίσει τις παραλλαγές στα συγγραφικά στυλ και ούτω καθεξής, αλλά μπορούσε να μάθει να χρησιμοποιεί σωστά αυτή τη γνώση (από την άποψή μας) με τη συμβολή άλλα άτομα. GPT-3.5 μπορεί να θεωρηθεί ως ένα μοντέλο «εκπαιδευμένο στην κοινωνία».
Περίληψη: Η κύρια λειτουργία του GPT-3Το .5, το οποίο εισήχθη στις αρχές του 2022, ήταν πρόσθετη επανεκπαίδευση με βάση τη συμβολή ατόμων. Αποδεικνύεται ότι αυτό το μοντέλο δεν έχει γίνει στην πραγματικότητα μεγαλύτερο και σοφότερο, αλλά μάλλον έχει κατακτήσει την ικανότητα να προσαρμόζει τις απαντήσεις του για να προσφέρει στους ανθρώπους το πιο τρελό γέλιο.
ChatGPT: A Massive Surge of Hype
Περίπου 10 μήνες μετά την προκάτοχό του InstructGPT/GGPT-3.5, ChatGPT εισήχθη. Αμέσως, προκάλεσε παγκόσμια διαφημιστική εκστρατεία.
Από τεχνολογική άποψη, δεν φαίνεται να υπάρχουν σημαντικές διαφορές μεταξύ τους ChatGPT και διδάσκειGPT. Το μοντέλο εκπαιδεύτηκε με πρόσθετα δεδομένα διαλόγου, καθώς μια «εργασία βοηθού τεχνητής νοημοσύνης» απαιτεί μια μοναδική μορφή διαλόγου, για παράδειγμα, τη δυνατότητα υποβολής μιας διευκρινιστικής ερώτησης εάν το αίτημα του χρήστη είναι ασαφές.
Λοιπόν, γιατί δεν υπήρχε διαφημιστική εκστρατεία γύρω GPT-3.5 στις αρχές του 2022 ενώ ChatGPT έπιασε τη φωτιά; Σαμ Άλτμαν, Εκτελεστικός Διευθυντής της OpenAI, αναγνώρισε ανοιχτά ότι οι ερευνητές τους αιφνιδιάσαμε ChatGPTστιγμιαία επιτυχία. Εξάλλου, ένα μοντέλο με ικανότητες συγκρίσιμες με αυτό, βρισκόταν σε αδράνεια στον ιστότοπό τους για περισσότερους από δέκα μήνες σε εκείνο το σημείο, και κανείς δεν ήταν στο ύψος του έργου.
| Περισσότερο: ChatGPT περάσει τις εξετάσεις Wharton MBA |
Είναι απίστευτο, αλλά φαίνεται ότι η νέα φιλική προς τον χρήστη διεπαφή είναι το κλειδί για την επιτυχία του. Η ίδια ΟδηγίαGPT Η πρόσβαση ήταν δυνατή μόνο μέσω μιας μοναδικής διεπαφής API, περιορίζοντας την πρόσβαση των ατόμων στο μοντέλο. ChatGPT, από την άλλη πλευρά, χρησιμοποιεί τη γνωστή διεπαφή «παραθύρου διαλόγου» των messengers. Επίσης, από τότε ChatGPT ήταν διαθέσιμο σε όλους αμέσως, ένα πλήθος ατόμων έσπευσε να αλληλεπιδράσει με το νευρωνικό δίκτυο, να τα ελέγξει και να τα δημοσιεύσει στο social media, ξεσηκώνοντας τους άλλους.
| Περισσότερο: Το εκπαιδευτικό σύστημα της Αμερικής έχει απόλυτη ανάγκη από 300 δασκάλους — αλλά ChatGPT θα μπορούσε να είναι η απάντηση |
Εκτός από την εξαιρετική τεχνολογία, ένα άλλο πράγμα έγινε σωστά OpenAI: μάρκετινγκ. Ακόμα κι αν έχετε το καλύτερο μοντέλο ή το πιο έξυπνο chatbot, αν δεν έχει μια εύχρηστη διεπαφή, κανείς δεν θα ενδιαφέρεται για αυτό. Από την άποψη αυτή, ChatGPT πέτυχε μια σημαντική ανακάλυψη παρουσιάζοντας την τεχνολογία στο ευρύ κοινό χρησιμοποιώντας το συνηθισμένο πλαίσιο διαλόγου, στο οποίο ένα βοηθητικό ρομπότ «εκτυπώνει» τη λύση ακριβώς μπροστά στα μάτια μας, λέξη προς λέξη.
Δεν εκπλήσσει, ChatGPT σημείωσε όλα τα προηγούμενα ρεκόρ για την προσέλκυση νέων χρηστών, ξεπερνώντας το ορόσημο του 1 εκατομμυρίου χρηστών σε μόλις πέντε ημέρες από την κυκλοφορία του και ξεπερνώντας τα 100 εκατομμύρια χρήστες σε μόλις δύο μήνες.
Φυσικά, όπου σημειώνεται αύξηση ρεκόρ σε χρήστες, υπάρχουν τεράστια χρήματα. Οι Κινέζοι ανακοίνωσαν επειγόντως την επικείμενη απελευθέρωση των δικών τους chatbot, η Microsoft έκλεισε γρήγορα μια συμφωνία OpenAI να επενδύσουν δεκάδες δισεκατομμύρια δολάρια σε αυτά, και οι μηχανικοί της Google έκρουσαν τον κώδωνα του κινδύνου και άρχισαν να διατυπώνουν σχέδια για την προστασία της υπηρεσίας αναζήτησής τους από τον ανταγωνισμό με το νευρωνικό δίκτυο.
Περίληψη: Όταν ο ChatGPT μοντέλο παρουσιάστηκε τον Νοέμβριο του 2022, δεν υπήρχαν αξιοσημείωτες τεχνολογικές εξελίξεις. Είχε, ωστόσο, μια βολική διεπαφή για αφοσίωση χρήστη και ανοιχτή πρόσβαση, η οποία πυροδότησε αμέσως ένα τεράστιο κύμα διαφημιστικής εκστρατείας. Δεδομένου ότι αυτό είναι το πιο κρίσιμο ζήτημα στον σύγχρονο κόσμο, όλοι άρχισαν να αντιμετωπίζουν τα γλωσσικά μοντέλα αμέσως.
Διαβάστε περισσότερα για το AI:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
