Raport aktualności Technologia
10 października 2023 r.

Microsoft zmusił firmy LLM do zapomnienia o Harrym Potterze

Microsoft zmusił firmy LLM do zapomnienia o Harrym Potterze
Źródło: Dall-E 3

Microsoft ujawnił metodę za instruowanie modeli wielkojęzycznych (LLM), aby zapomniały o określonych informacjach w swoich zbiorach danych bez konieczności pełnej rekonstrukcji danych szkoleniowych. Metoda ta otwiera nowe możliwości udoskonalenia LLM i potencjalnego rozwiązania problemów prawnych związanych z treściami chronionymi prawem autorskim.

Zespół Microsoftu zademonstrował niedawno, w jaki sposób udało mu się stworzyć plik Llama-2 model zapomina szczegóły książek o Harrym Potterze, nie wpływając na inne dane w danych szkoleniowych modelu ani na ogólne wyniki modelu w badaniu opisanym na stronie projektu badawczego.

Proces rozpoczyna się od identyfikacji konkretnych informacji w zbiorze danych modelu, o których należy zapomnieć. W tym przypadku były to szczegóły nawiązujące do kultowego serialu JK Rowling, w tym specyfika fabuły, imiona postaci i słynne cytaty. Były one następnie systematycznie zastępowane zwrotami rodzajowymi, niepowiązanymi ze sobą.

Następnie badacze wykorzystali model językowy do wygenerowania nowych informacji na podstawie tych ogólnych danych. Te świeże dane wykorzystano następnie do ponownego szkolenia oryginału Llama-2 modele stopniowo. Z każdym krokiem modelka dystansowała się od książek o Harrym Potterze, aż w odpowiedzi na pytania o nią zaczęły pojawiać się halucynacje.

Jedną uderzającą cechą tego podejścia jest to, że nie pogarsza ono ogólnej wydajności modelu. Oznacza to, że chociaż LLM w coraz większym stopniu zapomina o określonych danych, jego ogólne możliwości językowe pozostają nienaruszone.

Mimo że podejście to jest wciąż udoskonalane, jego implikacje są szerokie. W szczególności w sytuacjach związanych z roszczeniami prawnymi i kwestiami praw autorskich może to stanowić ratunek dla osób tworzących LLM i inne modele sztucznej inteligencji.

Ta innowacja pojawia się w czasie, gdy nasilają się spory prawne dotyczące wykorzystania treści chronionych prawem autorskim w modelach AI. Na przykład, Niedawno „The New York Times” zażądał usunięcia swoich publikacji z GPT-4 zbiór danych. W przypadku pomyślnego wyzwanie prawneprogramiści zazwyczaj musieliby zrekonstruować zbiory danych swoich modeli, co jest procesem czasochłonnym i wymagającym dużych zasobów. Metoda Microsoftu, jeśli zostanie udoskonalona i przyjęta, może zapewnić skuteczne rozwiązanie takich wyzwań.

Metoda Microsoftu polegająca na selektywnym zapominaniu określonych informacji w dużych modelach językowych (LLM) to znaczący przełom w rozwoju sztucznej inteligencji, potencjalnie rozwiązujący problemy związane z treściami chronionymi prawem autorskim i usprawniający udoskonalanie. Podejście to można zastosować w różnych dziedzinach, wykazując odpowiedzialny rozwój i zastosowanie sztucznej inteligencji.

Odpowiedzialność

Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.

O autorze

Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym. 

Więcej artykułów
Damir Jałałow
Damir Jałałow

Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym. 

Hot Stories
Dołącz do naszego newslettera.
Najnowsze wiadomości

Od Ripple do Big Green DAO: jak projekty kryptowalutowe przyczyniają się do działalności charytatywnej

Przyjrzyjmy się inicjatywom wykorzystującym potencjał walut cyfrowych na cele charytatywne.

Dowiedz się więcej

AlphaFold 3, Med-Gemini i inne: sposób, w jaki sztuczna inteligencja zmieni opiekę zdrowotną w 2024 r.

Sztuczna inteligencja objawia się na różne sposoby w opiece zdrowotnej, od odkrywania nowych korelacji genetycznych po wzmacnianie zrobotyzowanych systemów chirurgicznych…

Dowiedz się więcej
Czytaj więcej
Czytaj więcej
Fortune wymienia Gate.io wśród 10 najlepszych innowatorów Fintech w Azji w zakresie technologii blockchain i kryptowalut
Biznes Raport aktualności Technologia
Fortune wymienia Gate.io wśród 10 najlepszych innowatorów Fintech w Azji w zakresie technologii blockchain i kryptowalut
Listopad 6, 2024
Wraz z wygraną Trumpa w drugiej kadencji, rynki kryptowalut gwałtownie rosną z bezprecedensowym wzrostem napędzanym nadziejami regulacyjnymi
Opinia Biznes Styl życia rynki Technologia
Wraz z wygraną Trumpa w drugiej kadencji, rynki kryptowalut gwałtownie rosną z bezprecedensowym wzrostem napędzanym nadziejami regulacyjnymi
Listopad 6, 2024
Starknet aktualizuje swoją mapę drogową, skupiając się na krótkoterminowej redukcji opłat
Raport aktualności Technologia
Starknet aktualizuje swoją mapę drogową, skupiając się na krótkoterminowej redukcji opłat
Listopad 6, 2024
Fundacja 0G ogłasza sprzedaż węzła Alignment, planowaną na 11 listopada
Raport aktualności Technologia
Fundacja 0G ogłasza sprzedaż węzła Alignment, planowaną na 11 listopada
Listopad 6, 2024
CRYPTOMERIA LABS PTE. SP. Z O.O.