Истраживачи откривају нови начин за откривање текста генерисаног вештачком интелигенцијом
Укратко
Истраживачи су развили метод за откривање текста генерисаног вештачком интелигенцијом користећи РоБЕРТа модел, који издваја уградње текстуалних токена и визуализује их као тачке у вишедимензионалном простору.
Открили су тај текст који је генерисао GPT-3.5 модели, као нпр ChatGPT и Давинци, имале су знатно ниже просечне димензије у односу на текст који је написао човек.
Истраживачи су креирали робустан детектор заснован на димензијама који је био отпоран на уобичајене технике избегавања.
Тачност детектора је остала константно висока када су домени и модели промењени, са фиксним прагом и падом од 40% када се изазове са ДИППЕР техником.
Истраживачи су истраживали област текста генерисаног вештачком интелигенцијом и развио метод за откривање садржаја који генерише АИ модели као што су GPT Llama. Открили су занимљиве увиде о природи генерисаног текста користећи концепт фракционе димензије. Њихови налази бацају светло на инхерентне разлике између текста који су написали људи и текста генерисаног од стране АИ модела.
Може ли димензија облака тачака изведена из текста на природном језику пружити корисне информације о његовом пореклу? Истраживачи су користили модел РоБЕРТа да издвоје уградње текстуалних токена и визуализују их као тачке у вишедимензионалном простору да би то истражили. Они су проценили фракциону димензију ових облака тачака користећи софистициране технике инспирисане претходним радовима.
Истраживачи су били запањени када су открили тај текст који је генерисао GPT-3.5 модели, као нпр ChatGPT и Давинци, имале су знатно ниже просечне димензије у односу на текст који је написао човек. Овај интригантан образац је опстао у свим доменима, па чак и када су алтернативни модели као што су GPT-2 или ОПТ. Приметно је да се чак и када се користи ДИППЕР парафраза, која је посебно дизајнирана да избегне детекцију, димензија се променила само за око 3%. Ова открића су омогућила истраживачима да створе робустан детектор заснован на димензијама који је отпоран на уобичајене технике избегавања.
Приметно је да је тачност детектора остала константно висока када су домени и модели промењени. Са фиксним прагом, тачност детекције (истинска позитивна стопа) остала је изнад 75%, док је стопа лажних позитивних резултата (ФПР) остала мања од 1%. Чак и када је систем детекције био оспорен техником ДИППЕР, тачност је пала на 40%, надмашујући постојеће детекторе, укључујући и оне које је развио OpenAI.
Штавише, истраживачи су истраживали примену вишејезичних модела као што је вишејезични РоБЕРТа. То им је омогућило да развију сличне детекторе за језике који нису енглески. Док је просечна унутрашња димензија уградње варирала на различитим језицима, димензија генерисаних текстова остала је доследно нижа од оне коју су написали људи за сваки поједини језик.
Међутим, детектор је показао неке слабости, посебно када се суочава са високим генерацијским температурама и примитивности модели генератора. На вишим температурама, унутрашња димензија генерисаних текстова могла би да надмаши ону од људи писаног текста, чинећи детектор неефикасним. На срећу, такви модели генератора се већ могу открити коришћењем алтернативних метода. Поред тога, истраживачи су признали да постоји простор за истраживање алтернативних модела за издвајање уграђивања текста изван РоБЕРТа.
Разликовање између људског и АИ текста
У јануару, OpenAI најавила лансирање новог класификатора дизајнираног да разликује текст који су написали људи и текст који генеришу системи вештачке интелигенције. Овај класификатор има за циљ да одговори на изазове које поставља све већа распрострањеност садржаја генерисаног вештачком интелигенцијом, као што су кампање дезинформација и академско непоштење.
Иако је откривање целог текста написаног од вештачке интелигенције сложен задатак, овај класификатор служи као вредан алат за ублажавање лажних тврдњи о људско ауторство у тексту генерисаном вештачком интелигенцијом. Кроз ригорозне процене скупа текстова на енглеском, програмери су открили да тај класификатор тачно идентификује 26% текста написаног од вештачке интелигенције као „вероватно написаног АИ“ (истински позитивни), док повремено погрешно означава текст који је написао човек као генерисан вештачком интелигенцијом (лажно позитивне) за 9%. Важно је напоменути да се поузданост класификатора побољшава како се дужина уносног текста повећава. У поређењу са претходним класификаторима, ова нова верзија показује знатно већу поузданост на тексту који генеришу новији АИ системи.
Да би прикупили драгоцене повратне информације о корисности несавршених алата као што је овај класификатор, програмери су га направили јавно доступни. Можете бесплатно испробати наш класификатор у току рада. Међутим, неопходно је разумети његова ограничења. Класификатор би требало да се користи као помоћно средство, а не као примарни ресурс за доношење одлука, за одређивање извора текста. Показује високу непоузданост на кратким текстовима, а постоје случајеви у којима текст који је написао човек може бити погрешно означен као генерисан вештачком интелигенцијом.
Вреди напоменути да се веома предвидљиви текстови не могу доследно идентификовати, као што је листа првих 1,000 простих бројева. Уређивање текста генерисаног вештачком интелигенцијом такође може помоћи да се избегне класификатор, и док можемо да ажурирамо и поново обучимо класификатор на основу успешних напада, дугорочна предност детекције остаје неизвесна. Надаље, класификатори засновани на неуронске мреже често су лоше калибрисани ван својих података о обуци, што доводи до екстремног поверења у нетачна предвиђања за улазне податке који се значајно разликују од скупа за обуку.
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
