GPT-4Η απόδοση του δικηγόρου στις ΗΠΑ έρχεται σε αντίθεση με τους ισχυρισμούς του
Εν συντομία
Η εξέταση του GPT-4Η επίδοση του στην Εξέταση Ενιαίας Δικηγορίας αποκάλυψε μια ασυμφωνία μεταξύ της εκτιμώμενης και της πραγματικής απόδοσης, τονίζοντας τη σημασία των διαφανών διαδικασιών αξιολόγησης και των προσβάσιμων δεδομένων.
OpenAI ενθαρρύνεται να αντιμετωπίσει τις ασυμφωνίες και να αναπτύξει μια πιο περιεκτική και αξιόπιστη προσέγγιση για την αξιολόγηση μοντέλων τεχνητής νοημοσύνης για να κερδίσει εμπιστοσύνη και να διασφαλίσει την αξιοπιστία.
Σε πρόσφατη εξέταση του GPT-4η επίδοση του στην Ενιαία Δικηγορική Εξέταση (EBU), έχουν προκύψει αμφιβολίες για την ακρίβεια του OpenAIΟι ισχυρισμοί του σχετικά με το ποσοστό επιτυχίας του μοντέλου. Σε αντίθεση με τον αρχικό ισχυρισμό ότι GPT-4 ξεπερνά το 90% των ατόμων, τα ευρήματα υποδηλώνουν σημαντική απόκλιση μεταξύ της εκτιμώμενης και της πραγματικής απόδοσης του μοντέλου AI. Αυτή η αποκάλυψη υπογραμμίζει τη σημασία των διαφανών διαδικασιών αξιολόγησης και των προσβάσιμων δεδομένων για την επικύρωση τέτοιων ισχυρισμών.
Η εξέταση επικεντρώθηκε σε διάφορους παράγοντες για να εξακριβωθούν οι πραγματικές ικανότητες του GPT-4. Πρώτον, το ανάλυση των εξετάσεων του Φεβρουαρίου στο Ιλινόις αποκάλυψε ότι GPT-4οι βαθμολογίες του πλησίασαν το 90ο εκατοστημόριο. Ωστόσο, παρατηρήθηκε ότι αυτές οι βαθμολογίες επηρεάστηκαν σε μεγάλο βαθμό από τους επαναληπτικούς που είχαν προηγουμένως αποτύχει στις εξετάσεις του Ιουλίου και έτσι σημείωσαν χαμηλότερη βαθμολογία από τον συνολικό μέσο όρο.
Επιπλέον, τα αποτελέσματα των εξετάσεων του Ιουλίου ήταν αντίθετα OpenAIισχυρίζεται, αποκαλύπτοντας ότι GPT-4 μόνο Υπεραποδόσεις Το 68% των ανθρώπων και το 48% των δοκιμίων. GPT-4Η απόδοση του έναντι των πρωτοεμφανιζόμενων (εξαιρουμένων των επαναλήψεων) αξιολογήθηκε στο 63ο εκατοστημόριο, όταν ελήφθησαν υπόψη τα επίσημα δεδομένα από διάφορες δοκιμές σε διαφορετικές περιόδους, με τα δοκίμια να έχουν σημαντικά χαμηλότερη βαθμολογία στο 41ο εκατοστημόριο.
Μια πρόσθετη προοπτική αποκτήθηκε με την εξέταση της απόδοσης όσων πέτυχαν τις εξετάσεις, συμπεριλαμβανομένων των αδειοδοτημένων ατόμων και εκείνων που αναμένουν την αδειοδότηση. Από την άποψη αυτή, GPT-4Η συνολική απόδοση του κατατάχθηκε στο 48ο εκατοστημόριο, με τα δοκίμια να πηγαίνουν ακόμη χειρότερα στο 15ο εκατοστημόριο.
Αν και αυτά τα ευρήματα είναι ανησυχητικά, είναι σημαντικό να ληφθεί υπόψη η πιθανότητα ανθρώπινου λάθους στη διαδικασία αναθεώρησης. Ο συγγραφέας του άρθρου τονίζει τη σημασία της κατανόησης του δείγματος που χρησιμοποιήθηκε από τους ερευνητές για την αξιολόγηση GPT-4απόδοση του. Η έλλειψη επίσημων στοιχείων, ειδικά σε συγκεντρωτική μορφή, καθιστά δύσκολη τη δίκαιη σύγκριση και την αξιολόγηση των εκατοστημόνων. Η καθιέρωση σαφών και προσβάσιμων τεχνικών αξιολόγησης που μπορούν να αξιολογηθούν από όλα τα ενδιαφερόμενα μέρη είναι κρίσιμης σημασίας.
Ως απάντηση σε αυτές τις ανησυχίες, OpenAI καλείται να αντιμετωπίσει τις αποκλίσεις και παρέχει περαιτέρω πληροφορίες στη διαδικασία αξιολόγησης. Η διαφάνεια και η διαφάνεια είναι απαραίτητα για την απόκτηση εμπιστοσύνης και τη διασφάλιση της αξιοπιστίας των μοντέλων τεχνητής νοημοσύνης σε τομείς υψηλού κινδύνου, όπως το δίκαιο.
Θα πρέπει να σημειωθεί ότι το άρθρο δεν εξετάζει τη συγκεκριμένη βαθμολογία που πέτυχε GPT-4, το οποίο αναφέρεται ότι είναι 298. Η αξιολόγηση της σημασίας αυτής της βαθμολογίας απαιτεί μια κατανόηση των συμφραζομένων του συστήματος βαθμολόγησης που χρησιμοποιείται. Ακριβώς όπως ένα παιδί που επιστρέφει σπίτι από το σχολείο με το Β θα μπορούσε να είναι είτε αφορμή γιορτής είτε απογοήτευσης, η ερμηνεία του GPT-4Η βαθμολογία του εξαρτάται από την κλίμακα που χρησιμοποιείται.
Η αξιολόγηση του GPT-4την επίδοση του στις εξετάσεις δικηγορίας εγείρει σοβαρές ανησυχίες για την αληθεια των OpenAIοι αρχικοί ισχυρισμοί του. Το χάσμα μεταξύ της εκτιμώμενης και της πραγματικής απόδοσης τονίζει τη σημασία των σαφών συστημάτων αξιολόγησης και των εύκολα προσβάσιμων δεδομένων. OpenAI ενθαρρύνεται να αντιμετωπίσει αυτές τις προκλήσεις και να αναπτύξει μια πιο περιεκτική και αξιόπιστη προσέγγιση στο AI αξιολόγηση μοντέλου.
Διαβάστε περισσότερα για το AI:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
