Eksperci ostrzegają przed „złośliwymi wstawkami” w zestawach danych AI w ChatGPT
W skrócie
ChatGPT jest potencjalnie podatne ze względu na dane treningowe.
Według naukowców za jedyne 60 USD w USA moglibyśmy zatruć 0.01% zestawów danych LAION-400 lub COYO-700 w 2022 roku.
ChatGPT technologia staje się coraz bardziej popularna, choć nowa Badania naukowe sugeruje, że ta technologia może być podatna na ataki ze względu na dane szkoleniowe, z których korzysta. Gdy modele stają się coraz bardziej złożone, a zestawy danych stają się coraz większe i bardziej złożone, złośliwi aktorzy mogą wykorzystać tę lukę do manipulowania zestawami danych i spowodować, że modele uczenia maszynowego będą generować niedokładne wyniki.
Głównym problemem jest to, że bazy danych chatbotów są często „warunkowo zweryfikowanymi” zbiorami danych, co oznacza, że istnieje pewien poziom zaufania do danych bez szczegółowej weryfikacji. Innymi słowy, te zestawy danych często mogą zawierać podstawowe problemy, które nie zostały uwzględnione. Chociaż walidacja zestawów danych często nie jest przeprowadzana ze względu na ich duży rozmiar, istnieje możliwość manipulowania tymi danymi przez złośliwe podmioty.
W rzeczywistości naukowcy zasugerowali, że do 2022 r. osoby atakujące mogą wydać około 60 USD na zatrucie 0.01% zestawów danych LAION-400 lub COYO-700. Chociaż wydaje się to niewiele, złośliwi aktorzy mogą wykorzystać te zatrute dane do własnych korzyści, jeśli nie zostaną sprawdzone. Złośliwe dane mogą ostatecznie przeciec na większe zbiory danych, psując jakość danych i prowadząc do zawodnych modeli uczenia maszynowego.
Konieczne jest podjęcie działań w celu zabezpieczenia baz danych przed złośliwymi danymi. Agregacja kilku źródeł danych powinna stać się standardem dla chatbota treningowe zbiory danych aby upewnić się, że dane są wiarygodne i dokładne. Ponadto firmy powinny eksperymentować ze zbiorami danych, aby upewnić się, że nie są one podatne na złośliwe podmioty.
Chatboty AI ze złośliwym kodem mogą być podatne na ataki hakerskie
Zagrożenie złośliwym kodem w chatbotach może być dość poważne; złośliwy kod może służyć do kradzieży danych użytkownika, umożliwienia złośliwego dostępu do serwerów i umożliwienia złośliwych działań, takich jak pranie pieniędzy lub eksfiltracja danych. Jeśli chatbot AI jest szkolony na danych ze złośliwymi wstawkami, może nieświadomie wstrzyknąć złośliwy kod do swoich odpowiedzi i nieświadomie zostać wykorzystany jako narzędzie do złośliwego zysku.
Złośliwi aktorzy mogą wykorzystać tę lukę, celowo lub nieumyślnie wprowadzając szkodliwy kod do dane treningowe. Ponadto, ponieważ chatboty AI uczą się na podstawie danych, które są im prezentowane, może to również potencjalnie doprowadzić do tego, że nauczą się nieprawidłowych odpowiedzi, a nawet złośliwego zachowania.
Innym niebezpieczeństwem, z jakim mogą spotkać się chatboty AI, jest „nadmierne dopasowanie”. Dzieje się tak, gdy modele prognostyczne są szkolone zbyt dokładnie na danych, które otrzymały, co prowadzi do słabych prognoz, gdy są prezentowane z nowymi danymi. Może to stanowić szczególny problem, ponieważ Chatboty AI przeszkoleni w zakresie złośliwego kodu mogą potencjalnie stać się bardziej skuteczni we wprowadzaniu złośliwego kodu do swoich odpowiedzi, gdy lepiej zapoznają się z danymi.
Istotne jest, aby być świadomym zagrożeń i podjąć środki ostrożności w celu zagwarantowania danych szkoleniowych wykorzystywanych do nauczania ChatGPT jest bezpieczny i niezawodny, aby zapobiec tym potencjalnym słabościom. Początkowe dane wykorzystywane do szkolenia również muszą być oddzielne i niepowtarzalne; promocja „złośliwych wstawek” nie może kolidować ani pokrywać się z innymi źródłami. Należy to zbadać i porównać z innymi domenami, jeśli „przechwycenie” wielu potwierdzonych domen jest wykonalne w celu zweryfikowania danych.
Technologia Chatbot obiecuje zmienić sposób, w jaki ludzie prowadzą dyskusje międzyludzkie. Ale zanim będzie mógł w pełni wykorzystać swój potencjał, musi zostać ulepszony i zabezpieczony. Zbiory danych dla chatbotów muszą być dobrze sprawdzone i przygotowane do odparcia złośliwych aktorów. W ten sposób możemy mieć pewność, że w pełni wykorzystamy potencjał technologii i będziemy ją rozwijać Limity sztucznej inteligencji.
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
