Το πικρό μάθημα: Γιατί ChatGPT Θριάμβευσε πάνω από τις χειροποίητες υπολογιστικές τεχνικές
Εν συντομία
Το δοκίμιο του 2019 του καθηγητή Rich Sutton, «The Bitter Lesson», προβλέπει σημαντικές προόδους στην τεχνητή νοημοσύνη, όπως ChatGPT/GPT-4 και OpenAIμεθοδολογίες του.
Το κείμενο υπογραμμίζει τη μετατόπιση παραδείγματος στην τεχνητή νοημοσύνη, όπου οι υπολογιστικές μέθοδοι κυριαρχούν στην απόδοση χωρίς ανθρώπινη διαίσθηση.
Ωστόσο, πολλοί Οι ερευνητές συνεχίζουν να επιδιώκουν προσεγγίσεις που βασίζονται στη διαίσθηση, παραβλέποντας τις δυνατότητες των μεθόδων που βασίζονται σε υπολογισμούς.
Η έκθεση "Το πικρό μάθημα», που γράφτηκε από τον καθηγητή Rich Sutton το 2019, έκτοτε έχει αποκτήσει σημασία για τους ειδικούς της μηχανικής μάθησης και τους ανθρώπους που ενδιαφέρονται να κατανοήσουν το μέλλον της τεχνητής νοημοσύνης. Οι πληροφορίες που παρέχονται σε αυτό το έγγραφο προέβλεπαν σημαντικές εξελίξεις στην τεχνητή νοημοσύνη, συμπεριλαμβανομένης της εμφάνισης ChatGPT/GPT-4 και την αποδοχή του OpenAIμεθοδολογίες του.
Ο πυρήνας του "The Bitter Lesson" διερευνά μια αλλαγή παραδείγματος στον τομέα της τεχνητής νοημοσύνης. Στο παρελθόν, οι επιστήμονες που μελετούσαν την τεχνητή νοημοσύνη είχαν την τάση να πιστεύουν ότι η ανάπτυξη προηγμένης τεχνητής νοημοσύνης απαιτούσε μια αξιοσημείωτη, διακριτική προσέγγιση, γνωστή και ως «επαγωγική προκατάληψη». Αυτή η ιδέα παραπέμπει στην προσθήκη εξειδικευμένων πληροφοριών ή διαισθητικής κατανόησης ενός συγκεκριμένου ζητήματος, η οποία στη συνέχεια κατευθύνει την πορεία λύσης του μηχανήματος.
Το κεντρικό θέμα του «The Bitter Lesson» εξετάζει μια αλλαγή παραδείγματος στη μελέτη της τεχνητής νοημοσύνης. Προηγουμένως, οι ερευνητές που μελετούσαν την τεχνητή νοημοσύνη είχαν την τάση να πιστεύουν ότι η δημιουργία προηγμένης τεχνητής νοημοσύνης απαιτούσε μια αξιοσημείωτη, μοναδική προσέγγιση. Αυτή η προκατάληψη αναφέρεται ως «επαγωγική μεροληψία». Αυτή η ιδέα προτείνει την προσθήκη εξειδικευμένης γνώσης ή διαισθητικής γνώσης σε ένα συγκεκριμένο πρόβλημα, η οποία στη συνέχεια κατευθύνει την πορεία λύσης του μηχανήματος.
Αλλά ένα επαναλαμβανόμενο μοτίβο έγινε εμφανές. Οι ερευνητές το βρήκαν επανειλημμένα προσθέτοντας απλώς περισσότερα δεδομένα και υπολογιστική ισχύ, θα μπορούσαν να ξεπεράσουν τα αποτελέσματα που παράγονται από αυτές τις επίπονα κατασκευασμένες μεθόδους. Αυτό το μοτίβο δεν ήταν συγκεκριμένο για ένα πεδίο, αλλά εμφανίστηκε στο σκάκι, το go, το starcraft και πιθανώς επίσης και στο nethack. Συγκροτήματα νευρωνικά δίκτυα, για παράδειγμα, αποδίδουν καλύτερα στον τομέα της όρασης υπολογιστή από χειροκίνητες τεχνικές όπως ΚΟΣΚΙΝΙΖΩ. Είναι ενδιαφέρον να σημειωθεί ότι ο εφευρέτης του SIFT είπε αργότερα ότι αν υπήρχαν νευρωνικά δίκτυα όταν διεξήγαγε την έρευνά του, θα είχε επιλέξει αυτόν τον τρόπο δράσης. Παρόμοια με αυτό, Τα LSTM ξεπέρασαν όλα τα συστήματα που βασίζονται σε κανόνες στον τομέα της αυτόματης μετάφρασης. Χρησιμοποιώντας μια απλή στρατηγική "προσθήκη περισσότερων επιπέδων", ChatGPT/GPT-4, κορυφαίο παράδειγμα αυτής της τάσης, μπόρεσε να ξεπεράσει τα εξαιρετικά ανεπτυγμένα μοντέλα που δημιουργήθηκαν από υπολογιστικούς γλωσσολόγους.
Ο πυρήνας του «πικρού μαθήματος» του Sutton είναι ότι οι υπολογιστικές μέθοδοι που δεν τροποποιούνται από την ανθρώπινη διαίσθηση συχνά ξεπερνούν άλλες προσεγγίσεις όσον αφορά την απόδοση. Αυτή η κατανόηση, ωστόσο, δεν έχει γίνει ευρέως αποδεκτή. Πολλοί ερευνητές εξακολουθούν να επιδιώκουν πολύπλοκες στρατηγικές που βασίζονται στη διαίσθηση, συχνά αγνοώντας τις δυνατότητες περιεκτικών προσεγγίσεων που βασίζονται σε υπολογισμούς.
Πέντε λόγοι GPT θριάμβευσε επί των χειροποίητων υπολογιστικών τεχνικών:
- Απεριόριστες δυνατότητες: Οι υπολογιστικές μέθοδοι, ειδικά όταν επαυξάνονται με περισσότερα δεδομένα, έχουν τη δυνατότητα να εξελίσσονται και να προσαρμόζονται καθώς προχωρά η τεχνολογία, καθιστώντας τις πιο στεγανές στο μέλλον.
- Αποδοτικότητα: Οι γενικές μέθοδοι που βασίζονται σε υπολογισμούς και δεδομένα ξεπερνούν σταθερά τις εξειδικευμένες μεθόδους που βασίζονται στην ανθρώπινη διαίσθηση σε διάφορους τομείς, από παιχνίδια όπως το σκάκι και το Go έως τη μηχανική μετάφραση και την όραση υπολογιστή.
- Ευρεία Εφαρμογή: Αυτές οι γενικές μέθοδοι που βασίζονται σε υπολογισμούς είναι ευέλικτες και μπορούν να εφαρμοστούν σε διάφορους κλάδους χωρίς την ανάγκη προσαρμογών σε συγκεκριμένο τομέα.
- Απλότητα: Συστήματα βασισμένα σε ακατέργαστα υπολογιστική δύναμη και τα δεδομένα τείνουν να είναι απλούστερα στην προσέγγισή τους, χωρίς την ανάγκη περίπλοκων προσαρμογών που βασίζονται στην ανθρώπινη διαίσθηση.
- Συνεπής Απόδοση: Όπως αποδεικνύεται από παραδείγματα όπως ChatGPT/GPT-4, τα μοντέλα που βασίζονται σε υπολογισμούς μπορούν να επιτύχουν σταθερή υψηλή απόδοση, συχνά ξεπερνώντας τις εξειδικευμένες μεθόδους.
Το πρωτότυπο δοκίμιο είναι ένα ανεκτίμητο εργαλείο για την καλύτερη κατανόηση της άποψης του καθηγητή Sutton και των αρχών που καθοδηγούν αυτήν την τροχιά τεχνητής νοημοσύνης.
Το άρθρο εμπνεύστηκε από το κανάλι Telegram "Ξανά Μπόρις."
Διαβάστε περισσότερα για το AI:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
