Η Microsoft ανάγκασε τα LLM να ξεχάσουν τον Χάρι Πότερ
Η Microsoft αποκάλυψε μια μέθοδο για την εντολή στα Μεγάλα Γλωσσικά Μοντέλα (LLM) να ξεχνούν συγκεκριμένες πληροφορίες στα σύνολα δεδομένων τους χωρίς να απαιτείται πλήρης ανακατασκευή των δεδομένων εκπαίδευσης. Αυτή η μέθοδος ανοίγει νέες δυνατότητες για τη βελτίωση των LLM και πιθανή επίλυση νομικών ζητημάτων που αφορούν περιεχόμενο που προστατεύεται από πνευματικά δικαιώματα.
Η ομάδα της Microsoft έδειξε πρόσφατα πώς μπόρεσε να το κάνει Llama-2 μοντέλο ξεχνάτε τις λεπτομέρειες των βιβλίων του Χάρι Πότερ χωρίς να επηρεάζετε άλλα δεδομένα στα δεδομένα εκπαίδευσης του μοντέλου ή τη συνολική απόδοση του μοντέλου σε μια μελέτη που περιγράφεται στη σελίδα του ερευνητικού τους έργου.
Η διαδικασία ξεκινά με τον εντοπισμό συγκεκριμένων πληροφοριών μέσα στο σύνολο δεδομένων του μοντέλου που πρέπει να ξεχαστούν. Σε αυτήν την περίπτωση, ήταν λεπτομέρειες που σχετίζονται με την εμβληματική σειρά της JK Rowling, συμπεριλαμβανομένων των ιδιαιτεροτήτων της πλοκής, των ονομάτων χαρακτήρων και των διάσημων αποσπασμάτων. Στη συνέχεια, αυτές αντικαταστάθηκαν συστηματικά με γενικές, άσχετες φράσεις.
Οι ερευνητές στη συνέχεια χρησιμοποίησαν ένα γλωσσικό μοντέλο για να δημιουργήσουν νέες πληροφορίες με βάση αυτά τα γενικά δεδομένα. Αυτά τα νέα δεδομένα χρησιμοποιήθηκαν στη συνέχεια για την επανεκπαίδευση του αρχικού Llama-2 μοντέλο σταδιακά. Με κάθε βήμα, το μοντέλο απομακρύνθηκε από τα βιβλία του Χάρι Πότερ μέχρι που άρχισε να παράγει παραισθησιακές απαντήσεις όταν ρωτήθηκε για αυτά.
Ένα εντυπωσιακό χαρακτηριστικό αυτής της προσέγγισης είναι ότι δεν θέτει σε κίνδυνο τη γενική απόδοση του μοντέλου. Αυτό σημαίνει ότι ενώ το LLM ξεχνιέται ολοένα και περισσότερο για συγκεκριμένα δεδομένα, οι συνολικές γλωσσικές του δυνατότητες παραμένουν άθικτες.
Παρά το γεγονός ότι αυτή η προσέγγιση εξακολουθεί να βελτιώνεται, οι επιπτώσεις της είναι εκτεταμένες. Σε περιπτώσεις που αφορούν νομικές αξιώσεις και ζητήματα πνευματικών δικαιωμάτων, ειδικότερα, μπορεί να προσφέρει σωτήρια για όσους δημιουργούν LLM και άλλα μοντέλα τεχνητής νοημοσύνης.
Αυτή η καινοτομία έρχεται σε μια εποχή που οι νομικές διαμάχες σχετικά με τη χρήση περιεχομένου που προστατεύεται από πνευματικά δικαιώματα σε μοντέλα τεχνητής νοημοσύνης αυξάνονται. Για παράδειγμα, Οι New York Times ζήτησαν πρόσφατα την απομάκρυνση των δημοσιεύσεών του από το GPT-4 σύνολο δεδομένων. Σε περίπτωση επιτυχούς Νομική πρόκληση, οι προγραμματιστές θα πρέπει συνήθως να ανακατασκευάσουν τα σύνολα δεδομένων μοντέλων τους, μια διαδικασία χρονοβόρα και εντατική σε πόρους. Η μέθοδος της Microsoft, εάν βελτιωθεί περαιτέρω και υιοθετηθεί, θα μπορούσε να προσφέρει μια αποτελεσματική λύση σε τέτοιες προκλήσεις.
Η μέθοδος της Microsoft για την επιλεκτική λήθη συγκεκριμένων πληροφοριών στα μοντέλα μεγάλων γλωσσών (LLMs) είναι μια σημαντική σημαντική ανακάλυψη στην ανάπτυξη της τεχνητής νοημοσύνης, η οποία ενδεχομένως αντιμετωπίζει ζητήματα περιεχομένου που προστατεύεται από πνευματικά δικαιώματα και βελτιστοποιεί τη βελτίωση. Αυτή η προσέγγιση θα μπορούσε να εφαρμοστεί σε διάφορους τομείς, επιδεικνύοντας υπεύθυνη ανάπτυξη και εφαρμογή τεχνητής νοημοσύνης.
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
