Các nhà nghiên cứu khám phá một cách mới để phát hiện văn bản do AI tạo ra
Tóm lại
Các nhà nghiên cứu đã phát triển một phương pháp để phát hiện văn bản do AI tạo ra bằng mô hình RoBERTa, mô hình này trích xuất các phần nhúng của mã thông báo văn bản và trực quan hóa chúng dưới dạng các điểm trong không gian đa chiều.
Họ phát hiện ra rằng văn bản được tạo ra bởi GPT-3.5 mô hình, chẳng hạn như ChatGPT và Davinci, có kích thước trung bình thấp hơn đáng kể so với văn bản do con người viết.
Các nhà nghiên cứu đã tạo ra một máy dò dựa trên kích thước mạnh mẽ có khả năng chống lại các kỹ thuật trốn tránh phổ biến.
Độ chính xác của máy dò vẫn ở mức cao nhất quán khi các miền và mô hình được thay đổi, với ngưỡng cố định và độ chính xác giảm 40% khi thử thách với kỹ thuật DIPPER.
Các nhà nghiên cứu đã điều tra lĩnh vực văn bản do AI tạo ra và đã phát triển một phương pháp phát hiện nội dung do AI tạo ra các mô hình chẳng hạn như GPT và Llama. Họ đã khám phá ra những hiểu biết thú vị về bản chất của văn bản được tạo bằng cách sử dụng khái niệm về thứ nguyên phân số. Phát hiện của họ đã làm sáng tỏ sự khác biệt cố hữu giữa văn bản do con người viết và văn bản do các mô hình AI tạo ra.
Kích thước của đám mây điểm bắt nguồn từ văn bản ngôn ngữ tự nhiên có thể cung cấp thông tin hữu ích về nguồn gốc của nó không? Các nhà nghiên cứu đã sử dụng mô hình RoBERTa để trích xuất các nhúng mã thông báo văn bản và trực quan hóa chúng dưới dạng các điểm trong không gian đa chiều để điều tra vấn đề này. Họ ước tính kích thước phân số của những đám mây điểm này bằng cách sử dụng các kỹ thuật phức tạp lấy cảm hứng từ các công trình trước đó.
Các nhà nghiên cứu đã rất ngạc nhiên khi phát hiện ra rằng văn bản được tạo ra bởi GPT-3.5 mô hình, chẳng hạn như ChatGPT và Davinci, có kích thước trung bình thấp hơn đáng kể so với văn bản do con người viết. Mô hình hấp dẫn này vẫn tồn tại trên các lĩnh vực và ngay cả khi các mô hình thay thế như GPT-2 hoặc OPT đã được sử dụng. Đáng chú ý, ngay cả khi sử dụng diễn giải DIPPER, được thiết kế đặc biệt để tránh bị phát hiện, kích thước chỉ thay đổi khoảng 3%. Những khám phá này cho phép các nhà nghiên cứu tạo ra một máy dò dựa trên kích thước mạnh mẽ có khả năng chống lại các kỹ thuật trốn tránh thông thường.
Đáng chú ý, độ chính xác của máy dò vẫn luôn ở mức cao khi các miền và mô hình được thay đổi. Với ngưỡng cố định, độ chính xác phát hiện (tỷ lệ dương tính thực) vẫn ở mức trên 75% trong khi tỷ lệ dương tính giả (FPR) vẫn dưới 1%. Ngay cả khi hệ thống phát hiện gặp thách thức với kỹ thuật DIPPER, độ chính xác giảm xuống 40%, vượt trội so với các máy dò hiện có, bao gồm cả những máy được phát triển bởi OpenAI.
Hơn nữa, các nhà nghiên cứu đã khám phá việc ứng dụng các mô hình đa ngôn ngữ như RoBERTa đa ngôn ngữ. Điều này cho phép họ phát triển các máy dò tương tự cho các ngôn ngữ khác ngoài tiếng Anh. Mặc dù kích thước nội bộ trung bình của các phần nhúng khác nhau giữa các ngôn ngữ khác nhau, nhưng kích thước của văn bản được tạo ra vẫn luôn thấp hơn so với kích thước văn bản do con người viết đối với từng ngôn ngữ cụ thể.
Tuy nhiên, máy dò thể hiện một số điểm yếu, đặc biệt là khi đối mặt với nhiệt độ thế hệ cao và nguyên thủy mô hình máy phát điện. Ở nhiệt độ cao hơn, kích thước bên trong của văn bản được tạo ra có thể vượt qua kích thước của văn bản do con người viết, khiến máy dò không hiệu quả. May mắn thay, các mô hình trình tạo như vậy đã có thể phát hiện được bằng các phương pháp thay thế. Ngoài ra, các nhà nghiên cứu thừa nhận rằng có chỗ để khám phá các mô hình thay thế để trích xuất nhúng văn bản ngoài RoBERTa.
Phân biệt giữa văn bản do con người và AI viết
Trong tháng Một, OpenAI công bố ra mắt bộ phân loại mới được thiết kế để phân biệt giữa văn bản do con người viết và văn bản do hệ thống AI tạo ra. Công cụ phân loại này nhằm mục đích giải quyết các thách thức do nội dung do AI tạo ra ngày càng phổ biến, chẳng hạn như các chiến dịch cung cấp thông tin sai lệch và sự không trung thực trong học thuật.
Mặc dù việc phát hiện tất cả văn bản do AI viết là một nhiệm vụ phức tạp nhưng trình phân loại này đóng vai trò là công cụ có giá trị để giảm thiểu các tuyên bố sai về quyền tác giả của con người trong văn bản do AI tạo ra. Thông qua các đánh giá nghiêm ngặt trên một tập hợp văn bản tiếng Anh, các nhà phát triển đã phát hiện ra rằng trình phân loại đó xác định chính xác 26% văn bản do AI viết là “có thể do AI viết” (dương tính thực sự), trong khi đôi khi gắn nhãn sai cho văn bản do con người viết là do AI tạo ra (sai). tích cực) bằng 9%. Điều quan trọng cần lưu ý là độ tin cậy của trình phân loại sẽ cải thiện khi độ dài của văn bản đầu vào tăng lên. So với các trình phân loại trước đây, phiên bản mới này cho thấy độ tin cậy cao hơn đáng kể đối với văn bản được tạo bởi các hệ thống AI gần đây hơn.
Để thu thập phản hồi có giá trị về tính hữu ích của các công cụ không hoàn hảo như bộ phân loại này, các nhà phát triển đã thực hiện công khai. Bạn có thể dùng thử miễn phí trình phân loại công việc đang thực hiện của chúng tôi. Tuy nhiên, điều cần thiết là phải hiểu những hạn chế của nó. Bộ phân loại nên được sử dụng như một công cụ bổ sung, chứ không phải là nguồn tài nguyên ra quyết định chính, để xác định nguồn gốc của văn bản. Nó thể hiện độ không tin cậy cao đối với các văn bản ngắn và có những trường hợp văn bản do con người viết có thể bị gắn nhãn không chính xác là do AI tạo ra.
Điều đáng chú ý là các văn bản có khả năng dự đoán cao không thể được xác định một cách nhất quán, chẳng hạn như danh sách 1,000 số nguyên tố đầu tiên. Việc chỉnh sửa văn bản do AI tạo ra cũng có thể giúp tránh bộ phân loại và mặc dù chúng tôi có thể cập nhật và đào tạo lại bộ phân loại dựa trên các cuộc tấn công thành công, nhưng lợi thế lâu dài của việc phát hiện vẫn chưa chắc chắn. Hơn nữa, phân loại dựa trên mạng thần kinh thường được hiệu chỉnh kém bên ngoài dữ liệu huấn luyện của chúng, dẫn đến sự tin tưởng quá mức vào các dự đoán không chính xác đối với các đầu vào khác biệt đáng kể so với tập huấn luyện.
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
