Microsoft zmusił firmy LLM do zapomnienia o Harrym Potterze
Microsoft ujawnił metodę za instruowanie modeli wielkojęzycznych (LLM), aby zapomniały o określonych informacjach w swoich zbiorach danych bez konieczności pełnej rekonstrukcji danych szkoleniowych. Metoda ta otwiera nowe możliwości udoskonalenia LLM i potencjalnego rozwiązania problemów prawnych związanych z treściami chronionymi prawem autorskim.
Zespół Microsoftu zademonstrował niedawno, w jaki sposób udało mu się stworzyć plik Llama-2 model zapomina szczegóły książek o Harrym Potterze, nie wpływając na inne dane w danych szkoleniowych modelu ani na ogólne wyniki modelu w badaniu opisanym na stronie projektu badawczego.
Proces rozpoczyna się od identyfikacji konkretnych informacji w zbiorze danych modelu, o których należy zapomnieć. W tym przypadku były to szczegóły nawiązujące do kultowego serialu JK Rowling, w tym specyfika fabuły, imiona postaci i słynne cytaty. Były one następnie systematycznie zastępowane zwrotami rodzajowymi, niepowiązanymi ze sobą.
Następnie badacze wykorzystali model językowy do wygenerowania nowych informacji na podstawie tych ogólnych danych. Te świeże dane wykorzystano następnie do ponownego szkolenia oryginału Llama-2 modele stopniowo. Z każdym krokiem modelka dystansowała się od książek o Harrym Potterze, aż w odpowiedzi na pytania o nią zaczęły pojawiać się halucynacje.
Jedną uderzającą cechą tego podejścia jest to, że nie pogarsza ono ogólnej wydajności modelu. Oznacza to, że chociaż LLM w coraz większym stopniu zapomina o określonych danych, jego ogólne możliwości językowe pozostają nienaruszone.
Mimo że podejście to jest wciąż udoskonalane, jego implikacje są szerokie. W szczególności w sytuacjach związanych z roszczeniami prawnymi i kwestiami praw autorskich może to stanowić ratunek dla osób tworzących LLM i inne modele sztucznej inteligencji.
Ta innowacja pojawia się w czasie, gdy nasilają się spory prawne dotyczące wykorzystania treści chronionych prawem autorskim w modelach AI. Na przykład, Niedawno „The New York Times” zażądał usunięcia swoich publikacji z GPT-4 zbiór danych. W przypadku pomyślnego wyzwanie prawneprogramiści zazwyczaj musieliby zrekonstruować zbiory danych swoich modeli, co jest procesem czasochłonnym i wymagającym dużych zasobów. Metoda Microsoftu, jeśli zostanie udoskonalona i przyjęta, może zapewnić skuteczne rozwiązanie takich wyzwań.
Metoda Microsoftu polegająca na selektywnym zapominaniu określonych informacji w dużych modelach językowych (LLM) to znaczący przełom w rozwoju sztucznej inteligencji, potencjalnie rozwiązujący problemy związane z treściami chronionymi prawem autorskim i usprawniający udoskonalanie. Podejście to można zastosować w różnych dziedzinach, wykazując odpowiedzialny rozwój i zastosowanie sztucznej inteligencji.
Zastrzeżenie
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
