Naukowcy odkrywają nowy sposób wykrywania tekstu generowanego przez sztuczną inteligencję
W skrócie
Naukowcy opracowali metodę wykrywania tekstu generowanego przez sztuczną inteligencję za pomocą modelu RoBERTa, który wyodrębnia osadzone tokeny tekstowe i wizualizuje je jako punkty w wielowymiarowej przestrzeni.
Odkryli, że tekst wygenerowany przez GPT-3.5 modele, takie jak ChatGPT i Davinci, miał znacznie niższe średnie wymiary niż tekst pisany przez człowieka.
Naukowcy stworzyli solidny detektor oparty na wymiarach, który był odporny na popularne techniki unikania.
Dokładność detektora pozostawała niezmiennie wysoka po zmianie domen i modeli, ze stałym progiem i 40% spadkiem dokładności w przypadku próby z techniką DIPPER.
Naukowcy zbadali dziedzinę tekstu generowanego przez sztuczną inteligencję i opracował metodę wykrywania treści generowanych przez AI modele takie jak GPT i Llama. Odkryli interesujące spostrzeżenia na temat natury generowanego tekstu, wykorzystując koncepcję wymiaru ułamkowego. Ich odkrycia rzucają światło na nieodłączne różnice między tekstem pisanym przez ludzi a tekstem generowanym przez modele AI.
Czy wymiar chmury punktów uzyskany z tekstu w języku naturalnym może dostarczyć użytecznych informacji o jej pochodzeniu? Naukowcy wykorzystali model RoBERTa do wyodrębnienia osadzonych tokenów tekstowych i wizualizacji ich jako punktów w przestrzeni wielowymiarowej, aby to zbadać. Oszacowali ułamkowy wymiar tych chmur punktów za pomocą zaawansowanych technik inspirowanych wcześniejszymi pracami.
Badacze byli zdumieni, gdy odkryli, że tekst został wygenerowany przez GPT-3.5 modele, takie jak ChatGPT i Davinci, miał znacznie niższe średnie wymiary niż tekst pisany przez człowieka. Ten intrygujący wzór utrzymywał się w różnych domenach, a nawet w przypadku alternatywnych modeli, takich jak GPT-2 lub OPT. Warto zauważyć, że nawet przy użyciu parafrazy DIPPER, która została specjalnie zaprojektowana w celu uniknięcia wykrycia, wymiar zmienił się tylko o około 3%. Odkrycia te umożliwiły naukowcom stworzenie solidnego detektora opartego na wymiarach, odpornego na powszechnie stosowane techniki unikania zagrożeń.
Warto zauważyć, że dokładność detektora pozostawała niezmiennie wysoka po zmianie domen i modeli. Przy stałym progu dokładność wykrywania (odsetek wyników prawdziwie dodatnich) utrzymywała się na poziomie powyżej 75%, podczas gdy odsetek wyników fałszywie dodatnich (FPR) pozostawał poniżej 1%. Nawet gdy system wykrywania został zakwestionowany techniką DIPPER, dokładność spadła do 40%, przewyższając istniejące detektory, w tym opracowane przez OpenAI.
Ponadto naukowcy zbadali zastosowanie modeli wielojęzycznych, takich jak wielojęzyczny RoBERTa. To pozwoliło im opracować podobne detektory dla języków innych niż angielski. Podczas gdy średni wewnętrzny wymiar osadzania był różny w różnych językach, wymiar generowanych tekstów pozostawał konsekwentnie niższy niż wymiar tekstu pisanego przez człowieka dla każdego konkretnego języka.
Detektor wykazywał jednak pewne słabości, szczególnie w obliczu wysokich temperatur generowania i prymitywów modele generatorów. W wyższych temperaturach wewnętrzny wymiar generowanych tekstów może przewyższać tekst pisany przez człowieka, co powoduje, że detektor jest nieskuteczny. Na szczęście takie modele generatorów są już wykrywalne metodami alternatywnymi. Ponadto naukowcy przyznali, że jest miejsce na zbadanie alternatywnych modeli wydobywania osadzonych tekstów poza RoBERTa.
Rozróżnianie między tekstem pisanym przez człowieka a tekstem pisanym przez sztuczną inteligencję
W styczniu, OpenAI ogłosił uruchomienie nowego klasyfikatora zaprojektowanego do rozróżniania tekstu napisanego przez ludzi od tekstu wygenerowanego przez systemy sztucznej inteligencji. Ten klasyfikator ma na celu sprostanie wyzwaniom wynikającym z rosnącego rozpowszechnienia treści generowanych przez sztuczną inteligencję, takich jak kampanie dezinformacyjne i nieuczciwość akademicka.
Chociaż wykrywanie całego tekstu napisanego przez sztuczną inteligencję jest zadaniem złożonym, ten klasyfikator służy jako cenne narzędzie do ograniczania fałszywych twierdzeń o autorstwa człowieka w tekście wygenerowanym przez sztuczną inteligencję. Dzięki rygorystycznej ocenie zestawu tekstów w języku angielskim programiści odkryli, że ten klasyfikator dokładnie identyfikuje 26% tekstu napisanego przez sztuczną inteligencję jako „prawdopodobnie napisany przez sztuczną inteligencję” (prawdziwie pozytywne), a czasami błędnie oznacza tekst napisany przez człowieka jako wygenerowany przez sztuczną inteligencję (fałszywie pozytywne) o 9%. Należy zauważyć, że niezawodność klasyfikatora poprawia się wraz ze wzrostem długości tekstu wejściowego. W porównaniu z poprzednimi klasyfikatorami, nowa wersja wykazuje znacznie większą niezawodność w przypadku tekstu generowanego przez nowsze systemy AI.
Programiści zrobili to, aby zebrać cenne opinie na temat przydatności niedoskonałych narzędzi, takich jak ten klasyfikator publicznie dostępne. Możesz bezpłatnie wypróbować nasz klasyfikator work-in-progress. Konieczne jest jednak zrozumienie jego ograniczeń. Klasyfikator powinien być używany jako dodatkowe narzędzie, a nie główny zasób decyzyjny do określania źródła tekstu. Wykazuje dużą zawodność w przypadku krótkich tekstów, a zdarzają się przypadki, w których tekst napisany przez człowieka może być nieprawidłowo oznaczony jako wygenerowany przez sztuczną inteligencję.
Warto zauważyć, że wysoce przewidywalnych tekstów nie można konsekwentnie zidentyfikować, takich jak lista pierwszych 1,000 liczb pierwszych. Edytowanie tekstu generowanego przez sztuczną inteligencję może również pomóc w uniknięciu klasyfikatora i chociaż możemy aktualizować i przeszkolić klasyfikator w oparciu o udane ataki, długoterminowa korzyść z wykrywania pozostaje niepewna. Ponadto klasyfikatory oparte na sieci neuronowe są często słabo skalibrowane poza danymi treningowymi, co prowadzi do skrajnej pewności co do nieprawidłowych prognoz dla danych wejściowych znacznie różniących się od zbioru treningowego.
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
