Sự phát triển của Chatbots từ thời T9 và GPT-1 đến ChatGPT
Gần đây, chúng tôi đã bị tấn công gần như hàng ngày với các bài đăng tin tức về những kỷ lục mới nhất bị phá vỡ bởi các mạng thần kinh quy mô lớn và tại sao hầu như không có công việc nào được an toàn. Tuy nhiên, rất ít người nhận thức được mạng lưới thần kinh như thế nào ChatGPT thực sự hoạt động.
Thật thư giãn. Đừng than thở về triển vọng công việc của bạn. Trong bài đăng này, chúng tôi sẽ giải thích mọi thứ cần biết về mạng lưới thần kinh theo cách mà mọi người đều có thể nắm bắt được.
Thông báo trước khi chúng ta bắt đầu: Tác phẩm này là một sự hợp tác. Toàn bộ phần kỹ thuật được viết bởi một chuyên gia AI, người nổi tiếng trong cộng đồng AI.
Vì chưa có ai viết một bài chuyên sâu về cách ChatGPT những công việc có thể giải thích, theo thuật ngữ thông thường, các phần mở rộng của mạng thần kinh, chúng tôi quyết định làm điều này cho bạn. Chúng tôi đã cố gắng giữ cho bài đăng này đơn giản nhất có thể để người đọc có thể đọc xong bài đăng này với sự hiểu biết chung về các nguyên tắc của mạng lưới thần kinh ngôn ngữ. Chúng ta sẽ khám phá cách mô hình ngôn ngữ hoạt động ở đó, mạng lưới thần kinh đã phát triển như thế nào để sở hữu các khả năng hiện tại của chúng và tại sao ChatGPTsự nổi tiếng bùng nổ của nó đã làm ngạc nhiên ngay cả những người tạo ra nó.
Hãy bắt đầu với những điều cơ bản. Hiểu ChatGPT từ quan điểm kỹ thuật, trước tiên chúng ta phải hiểu nó không phải là gì. Đây không phải là Jarvis của Marvel Comics; nó không phải là một thực thể hợp lý; nó không phải là một vị thần. Chuẩn bị bị sốc: ChatGPT thực sự là T9 của điện thoại di động của bạn trên steroid! Đúng vậy: Các nhà khoa học gọi cả hai công nghệ này là “mô hình ngôn ngữ.” Tất cả những gì mạng thần kinh làm là đoán xem từ nào sẽ xuất hiện tiếp theo.
Công nghệ T9 ban đầu chỉ tăng tốc quay số điện thoại bằng nút bấm bằng cách đoán đầu vào hiện tại thay vì từ tiếp theo. Tuy nhiên, công nghệ tiên tiến và đến thời đại của điện thoại thông minh vào đầu những năm 2010, nó có thể xem xét ngữ cảnh và từ trước đó, thêm dấu chấm câu và đưa ra lựa chọn từ có thể tiếp theo. Đó chính xác là phép loại suy mà chúng tôi đang thực hiện với phiên bản T9 hoặc tự động sửa lỗi “nâng cao” như vậy.
Do đó, cả T9 trên bàn phím điện thoại thông minh và ChatGPT đã được đào tạo để giải quyết một nhiệm vụ đơn giản đến nực cười: dự đoán từ tiếp theo. Điều này được gọi là “mô hình hóa ngôn ngữ” và nó xảy ra khi một quyết định được đưa ra về những gì sẽ được viết tiếp theo dựa trên văn bản hiện có. Các mô hình ngôn ngữ phải hoạt động dựa trên xác suất xuất hiện của các từ cụ thể để đưa ra các dự đoán như vậy. Rốt cuộc, bạn sẽ cảm thấy khó chịu nếu tính năng tự động điền của điện thoại ném cho bạn những từ hoàn toàn ngẫu nhiên với xác suất giống nhau.
Để rõ ràng, hãy tưởng tượng rằng bạn nhận được một tin nhắn từ một người bạn. Nó nói: "Kế hoạch của bạn cho buổi tối là gì?" Đáp lại, bạn bắt đầu nhập: “Tôi sẽ…”, và đây là lúc T9 xuất hiện. Nó có thể đưa ra những thứ hoàn toàn vô nghĩa như “Tôi sẽ lên mặt trăng”, không cần mô hình ngôn ngữ phức tạp. Các mô hình tự động hoàn thành điện thoại thông minh tốt gợi ý nhiều từ có liên quan hơn.
Vì vậy, làm cách nào để T9 biết những từ nào có nhiều khả năng tuân theo văn bản đã nhập và từ nào rõ ràng là không có nghĩa? Để trả lời câu hỏi này, trước tiên chúng ta phải xem xét các nguyên tắc hoạt động cơ bản của thiết bị đơn giản nhất. mạng thần kinh.
- Cách các mô hình AI dự đoán từ tiếp theo
- Tại sao chúng ta cứ cố gắng tìm những từ 'đúng' cho một văn bản nhất định?
- GPT-1: Thổi bùng ngành công nghiệp
- GPT-2: Thời đại của các mô hình ngôn ngữ lớn
- GPT-3: Thông minh như địa ngục
- GPT-3.5 (Hướng dẫnGPT): Mô hình được đào tạo về an toàn và không độc hại
- ChatGPT: Sự cường điệu ồ ạt
Cách các mô hình AI dự đoán từ tiếp theo
Chúng ta hãy bắt đầu với một câu hỏi đơn giản hơn: Làm thế nào để bạn dự đoán sự phụ thuộc lẫn nhau của một số thứ vào những thứ khác? Giả sử chúng ta muốn dạy máy tính dự đoán cân nặng của một người dựa trên chiều cao của họ — chúng ta nên thực hiện điều đó như thế nào? Trước tiên, chúng ta nên xác định các lĩnh vực quan tâm và sau đó thu thập dữ liệu để tìm kiếm các phụ thuộc quan tâm và sau đó cố gắng “đào tạo” một số mô hình toán học để tìm kiếm các mẫu trong dữ liệu này.
Nói một cách đơn giản, T9 hoặc ChatGPT chỉ là những phương trình được lựa chọn khéo léo để cố gắng dự đoán một từ (Y) dựa trên tập hợp các từ trước đó (X) được đưa vào đầu vào mô hình. Khi huấn luyện một mô hình ngôn ngữ trên một tập dữ liệu, nhiệm vụ chính là chọn các hệ số cho những x này phản ánh thực sự một loại phụ thuộc nào đó (như trong ví dụ của chúng tôi với chiều cao và cân nặng). Và với các mô hình lớn, chúng ta sẽ hiểu rõ hơn về những mô hình có số lượng tham số lớn. trong lĩnh vực trí tuệ nhân tạo, chúng được gọi là các mô hình ngôn ngữ lớn, hay viết tắt là LLM. Như chúng ta sẽ thấy ở phần sau, một mô hình lớn với nhiều tham số là cần thiết để tạo ra văn bản tốt.
Nhân tiện, nếu bạn đang thắc mắc tại sao chúng tôi liên tục nói về “dự đoán một từ tiếp theo” trong khi ChatGPT nhanh chóng trả lời với toàn bộ đoạn văn bản, câu trả lời rất đơn giản. Chắc chắn, các mô hình ngôn ngữ có thể tạo ra các văn bản dài mà không gặp khó khăn, nhưng toàn bộ quá trình là từng từ một. Sau mỗi từ mới được tạo, mô hình chỉ cần chạy lại tất cả văn bản bằng từ mới để tạo từ tiếp theo. Quá trình lặp đi lặp lại nhiều lần cho đến khi bạn nhận được toàn bộ phản hồi.
Tại sao chúng ta cứ cố gắng tìm những từ 'đúng' cho một văn bản nhất định?
Các mô hình ngôn ngữ cố gắng dự đoán xác suất của các từ khác nhau có thể xuất hiện trong một văn bản nhất định. Tại sao điều này lại cần thiết và tại sao bạn không thể tiếp tục tìm kiếm từ “đúng nhất”? Hãy thử một trò chơi đơn giản để minh họa quá trình này hoạt động như thế nào.
Các quy tắc như sau: Tôi đề nghị bạn tiếp tục câu: “Tổng thống thứ 44 của Hoa Kỳ (và là người Mỹ gốc Phi đầu tiên ở vị trí này) là Barak…”. Từ nào nên đi tiếp theo? khả năng nó sẽ xảy ra là gì?
Nếu bạn dự đoán chắc chắn 100% rằng từ tiếp theo sẽ là “Obama” thì bạn đã nhầm! Và vấn đề ở đây không phải là có một Barak thần thoại khác; nó tầm thường hơn nhiều. Các tài liệu chính thức thường sử dụng tên đầy đủ của tổng thống. Điều này có nghĩa là những gì theo sau tên của Obama sẽ là tên đệm của ông, Hussein. Vì vậy, trong câu của chúng ta, một mô hình ngôn ngữ được đào tạo phù hợp sẽ dự đoán rằng “Obama” sẽ là từ tiếp theo chỉ với xác suất có điều kiện là 90% và phân bổ 10% còn lại nếu văn bản được tiếp tục bởi “Hussein” (sau đó Obama sẽ theo với xác suất gần 100%).
Và bây giờ chúng ta đến với một khía cạnh hấp dẫn của các mô hình ngôn ngữ: Chúng không tránh khỏi những nét sáng tạo! Trên thực tế, khi tạo từng từ tiếp theo, các mô hình như vậy chọn từ đó theo cách “ngẫu nhiên”, như thể ném một con súc sắc. Xác suất của các từ khác nhau “rơi ra” ít nhiều tương ứng với xác suất được đề xuất bởi các phương trình được đưa vào bên trong mô hình. Chúng được lấy từ một mảng lớn các văn bản khác nhau mà mô hình đã được cung cấp.
Nó chỉ ra rằng một mô hình có thể phản ứng khác nhau với cùng một yêu cầu, giống như một người sống. Các nhà nghiên cứu thường cố gắng buộc các nơ-ron luôn chọn từ tiếp theo “có khả năng nhất”, nhưng trong khi điều này nhìn bề ngoài có vẻ hợp lý, thì những mô hình như vậy lại hoạt động kém hơn trong thực tế. Có vẻ như một liều lượng hợp lý của tính ngẫu nhiên là có lợi vì nó làm tăng tính khả biến và chất lượng của các câu trả lời.
| More: ChatGPT Học cách điều khiển máy bay không người lái và rô bốt khi nó suy nghĩ về AI thế hệ tiếp theo |
Ngôn ngữ của chúng tôi có cấu trúc độc đáo với các bộ quy tắc và ngoại lệ riêng biệt. Có vần điệu và lý do cho những từ nào xuất hiện trong một câu, chúng không chỉ xuất hiện một cách ngẫu nhiên. Mọi người đều học một cách vô thức các quy tắc của ngôn ngữ mà họ sử dụng trong những năm đầu đời.
Một mô hình phù hợp nên tính đến phạm vi mô tả rộng của ngôn ngữ. Các mô hình khả năng tạo ra kết quả mong muốn phụ thuộc vào mức độ chính xác mà nó tính toán xác suất của các từ dựa trên sự tinh tế của ngữ cảnh (phần trước của văn bản giải thích tình huống).
Tóm tắt: Các mô hình ngôn ngữ đơn giản, là một tập hợp các phương trình được đào tạo trên một lượng lớn dữ liệu để dự đoán từ tiếp theo dựa trên văn bản nguồn đầu vào, đã được triển khai trong chức năng “T9/Tự động điền” của điện thoại thông minh kể từ đầu những năm 2010.
GPT-1: Thổi bùng ngành công nghiệp
Hãy tránh xa các mô hình T9. Trong khi bạn có thể đang đọc tác phẩm này để tìm hiểu về ChatGPT, trước tiên, chúng ta cần thảo luận về sự khởi đầu của GPT gia đình kiểu mẫu.
GPT là viết tắt của “máy biến áp được huấn luyện trước tạo sinh”, trong khi kiến trúc mạng thần kinh được phát triển bởi các kỹ sư của Google năm 2017 mang tên Transformer. Transformer là một cơ chế điện toán phổ quát chấp nhận một tập hợp các trình tự (dữ liệu) làm đầu vào và tạo ra cùng một tập hợp các trình tự nhưng ở dạng khác đã được thay đổi bởi một số thuật toán.
Có thể thấy tầm quan trọng của việc tạo ra Transformer ở mức độ tích cực mà nó được chấp nhận và áp dụng trong tất cả các lĩnh vực trí tuệ nhân tạo (AI): dịch thuật, xử lý hình ảnh, âm thanh và video. Lĩnh vực trí tuệ nhân tạo (AI) đã có một cuộc cải tổ mạnh mẽ, chuyển từ cái gọi là “trì trệ của AI” sang phát triển nhanh chóng và vượt qua sự trì trệ.
Sức mạnh chính của Transformer được tạo thành từ các mô-đun dễ mở rộng quy mô. Khi được yêu cầu xử lý một lượng lớn văn bản cùng một lúc, các mô hình ngôn ngữ cũ, trước khi chuyển đổi sẽ chậm lại. Mặt khác, mạng lưới thần kinh biến áp xử lý nhiệm vụ này tốt hơn nhiều.
Trước đây, dữ liệu đầu vào phải được xử lý tuần tự hoặc từng dữ liệu một. Mô hình sẽ không giữ lại dữ liệu: Nếu nó hoạt động với một trang tường thuật, nó sẽ quên văn bản sau khi đọc nó. Trong khi đó, Transformer cho phép một người xem mọi thứ cùng một lúc, sản xuất kết quả tuyệt vời hơn đáng kể.
Đây là điều đã tạo ra bước đột phá trong việc xử lý văn bản bằng mạng thần kinh. Kết quả là, mô hình không còn quên nữa: nó sử dụng lại tài liệu đã viết trước đó, hiểu ngữ cảnh tốt hơn và quan trọng nhất là có thể tạo kết nối giữa khối lượng dữ liệu cực lớn bằng cách ghép các từ lại với nhau.
Tóm tắt: GPT-1, ra mắt vào năm 2018, đã chứng minh rằng mạng lưới thần kinh có thể tạo ra văn bản bằng cách sử dụng thiết kế Transformer, điều này đã cải thiện đáng kể khả năng mở rộng và hiệu quả. Nếu có thể nâng cao số lượng và độ phức tạp của các mô hình ngôn ngữ thì điều này sẽ tạo ra một nguồn dự trữ khá lớn.
GPT-2: Thời đại của các mô hình ngôn ngữ lớn
Các mô hình ngôn ngữ không cần phải được gắn thẻ đặc biệt trước và có thể được “cung cấp” bất kỳ dữ liệu văn bản nào, làm cho chúng cực kỳ linh hoạt. Nếu bạn suy nghĩ kỹ, có vẻ hợp lý khi chúng tôi muốn sử dụng khả năng của nó. Bất kỳ văn bản nào đã từng được viết đều đóng vai trò là dữ liệu huấn luyện được tạo sẵn. Vì đã có rất nhiều chuỗi kiểu “rất nhiều từ và cụm từ => từ tiếp theo sau chúng”, điều này không có gì đáng ngạc nhiên.
Bây giờ chúng ta cũng hãy nhớ rằng công nghệ Transformers đã được thử nghiệm trên GPT-1 được chứng minh là khá thành công về mặt mở rộng quy mô: Nó hiệu quả hơn đáng kể so với các phiên bản trước trong việc xử lý khối lượng dữ liệu lớn. Hóa ra các nhà nghiên cứu từ OpenAI đã đi đến kết luận tương tự vào năm 2019: “Đã đến lúc cắt bỏ các mô hình ngôn ngữ đắt tiền!”
Sản phẩm tập dữ liệu huấn luyện và mô hình kích thước, đặc biệt, đã được chọn là hai lĩnh vực quan trọng trong đó GPT-2 cần phải được cải thiện mạnh mẽ.
Vì không có bộ dữ liệu văn bản công khai khổng lồ, chất lượng cao được thiết kế đặc biệt cho các mô hình ngôn ngữ đào tạo vào thời điểm đó, nên mỗi nhóm chuyên gia AI phải tự thao tác dữ liệu. Các OpenAI mọi người sau đó đã quyết định truy cập Reddit, diễn đàn tiếng Anh phổ biến nhất và trích xuất tất cả các siêu liên kết từ mỗi bài đăng có hơn ba lượt thích. Có gần 8 triệu liên kết trong số này và các văn bản được tải xuống có tổng dung lượng 40 terabyte.
Phương trình mô tả lớn nhất có bao nhiêu tham số? GPT-2 mẫu 2019 có? Có lẽ là một trăm nghìn hay vài triệu? Chà, chúng ta hãy đi xa hơn nữa: Công thức chứa tới 1.5 tỷ tham số như vậy. Sẽ mất 6 terabyte để ghi nhiều số đó vào một tệp và lưu nó vào máy tính của bạn. Mô hình không cần phải ghi nhớ toàn bộ văn bản này, do đó, một mặt, con số này nhỏ hơn nhiều so với tổng lượng mảng dữ liệu văn bản mà mô hình đã đào tạo trên đó; chỉ cần nó tìm thấy một số phụ thuộc (mẫu, quy tắc) có thể tách biệt khỏi văn bản do con người viết là đủ.
Xác suất dự báo của mô hình càng tốt và càng chứa nhiều tham số thì phương trình được đưa vào mô hình càng phức tạp. Điều này làm cho một văn bản đáng tin cậy. Ngoài ra, GPT-2 mô hình bắt đầu hoạt động tốt đến mức OpenAI nhà nghiên cứu thậm chí còn miễn cưỡng tiết lộ mô hình này một cách công khai vì lý do bảo mật.
Điều rất thú vị là khi một người mẫu trở nên lớn hơn, nó đột nhiên bắt đầu có những phẩm chất mới (chẳng hạn như khả năng viết các bài luận chặt chẽ, có ý nghĩa thay vì chỉ đọc chính tả từ tiếp theo trên điện thoại).
Sự thay đổi từ lượng sang chất xảy ra ở điểm này. Hơn nữa, nó xảy ra hoàn toàn phi tuyến tính. Chẳng hạn, việc tăng gấp ba lần số lượng tham số từ 115 lên 350 triệu không có tác động rõ rệt đến khả năng giải quyết vấn đề chính xác của mô hình. Tuy nhiên, việc tăng gấp đôi lên 700 triệu sẽ tạo ra một bước nhảy vọt về chất, khi mạng nơ-ron “nhìn thấy ánh sáng” và bắt đầu khiến mọi người kinh ngạc về khả năng hoàn thành nhiệm vụ của nó.
Tóm tắt: Năm 2019 chứng kiến sự ra đời của GPT-2, gấp 10 lần so với người tiền nhiệm về kích thước của mô hình (số lượng tham số) và khối lượng dữ liệu văn bản đào tạo. Do tiến bộ về số lượng này, mô hình đã thu được những tài năng mới về chất lượng một cách khó lường, chẳng hạn như khả năng viết bài luận dài với một ý nghĩa rõ ràng và giải quyết các vấn đề thách thức đòi hỏi nền tảng của một thế giới quan.
GPT-3: Thông minh như địa ngục
Nhìn chung, bản phát hành năm 2020 của GPT-3, thế hệ tiếp theo trong dòng sản phẩm này, đã có thông số gấp 116 lần—lên tới 175 tỷ và 700 terabyte đáng kinh ngạc.
Sản phẩm GPT-3 tập dữ liệu huấn luyện cũng được mở rộng, mặc dù không đáng kể. Nó tăng gần 10 lần lên 420 gigabyte và hiện chứa một số lượng lớn sách, Wikicác bài báo pedia và các văn bản khác từ các trang web khác. Con người sẽ mất khoảng 50 năm để đọc không ngừng nghỉ, khiến nó trở thành một kỳ tích bất khả thi.
Bạn nhận thấy ngay sự khác biệt hấp dẫn: không giống như GPT-2, bản thân mô hình hiện đã lớn hơn 700 GB so với toàn bộ mảng văn bản dành cho quá trình đào tạo của nó (420 GB). Theo một nghĩa nào đó, điều đó hóa ra là một nghịch lý: trong trường hợp này, khi “não thần kinh” nghiên cứu dữ liệu thô, nó tạo ra thông tin về các mối quan hệ phụ thuộc lẫn nhau khác nhau bên trong chúng với lượng thông tin dồi dào hơn dữ liệu gốc.
Nhờ khả năng khái quát hóa của mô hình, giờ đây mô hình có thể ngoại suy thậm chí còn thành công hơn trước và thành công ngay cả trong các tác vụ tạo văn bản không xảy ra thường xuyên hoặc hoàn toàn không xảy ra trong quá trình đào tạo. Bây giờ, bạn không cần dạy người mẫu cách giải quyết một vấn đề nhất định; chỉ cần mô tả chúng và cung cấp một vài ví dụ là đủ, và GPT-3 sẽ học ngay.
Sản phẩm “bộ não phổ quát” trong hình dạng của GPT-3 cuối cùng đã đánh bại nhiều mô hình chuyên biệt trước đó. Ví dụ, GPT-3 bắt đầu dịch văn bản từ tiếng Pháp hoặc tiếng Đức nhanh hơn và chính xác hơn bất kỳ mạng lưới thần kinh nào trước đây được tạo riêng cho mục đích này. Làm sao? Hãy để tôi nhắc bạn rằng chúng ta đang thảo luận về một mô hình ngôn ngữ có mục tiêu duy nhất là cố gắng dự đoán từ theo sau trong một văn bản nhất định.
Đáng kinh ngạc hơn nữa, GPT-3 đã có thể tự dạy… toán! Biểu đồ bên dưới minh họa mức độ hoạt động của mạng thần kinh trong các nhiệm vụ bao gồm phép cộng và phép trừ cũng như phép nhân các số nguyên có tối đa năm chữ số với số lượng tham số khác nhau. Như bạn có thể thấy, mạng lưới thần kinh đột nhiên bắt đầu “có khả năng” toán học khi chuyển từ mô hình có 10 tỷ tham số sang mô hình có 100 tỷ tham số.
Đặc điểm hấp dẫn nhất của biểu đồ nói trên là ban đầu, dường như không có gì thay đổi khi kích thước của mô hình tăng lên (từ trái sang phải), nhưng đột nhiên, p lần! Một sự thay đổi về chất xảy ra và GPT-3 bắt đầu “hiểu” cách giải quyết một vấn đề nhất định. Không ai chắc chắn về cách thức, cái gì hoặc tại sao nó hoạt động. Tuy nhiên, nó dường như có tác dụng trong nhiều vấn đề khó khăn khác cũng như trong toán học.
Đặc điểm hấp dẫn nhất của biểu đồ nói trên là khi kích thước của mô hình tăng lên, đầu tiên, dường như không có gì thay đổi, và sau đó, GPT-3 thực hiện một bước nhảy vọt về chất và bắt đầu “hiểu” cách giải quyết một vấn đề nhất định.
Ảnh gif dưới đây chỉ đơn giản là minh họa cách các khả năng mới mà không ai cố tình lên kế hoạch “nảy mầm” trong mô hình khi số lượng tham số tăng lên:
Tóm tắt: Về thông số thì 2020 GPT-3 lớn hơn 100 lần so với phiên bản trước, trong khi dữ liệu văn bản huấn luyện lớn hơn 10 lần. Một lần nữa, mô hình đã học cách dịch từ các ngôn ngữ khác, thực hiện số học, thực hiện lập trình đơn giản, suy luận tuần tự, v.v. do sự mở rộng về số lượng mà chất lượng tăng đột ngột.
GPT-3.5 (DạyGPT): Mô hình được đào tạo về an toàn và không độc hại
Trên thực tế, việc mở rộng các mô hình ngôn ngữ không đảm bảo rằng nó sẽ phản ứng với các yêu cầu theo cách mà người dùng mong muốn. Trên thực tế, khi đưa ra yêu cầu, chúng ta thường có ý định sử dụng một số thuật ngữ bất thành văn mà trong giao tiếp của con người, chúng được cho là đúng.
Tuy nhiên, thành thật mà nói, các mô hình ngôn ngữ không gần với mô hình của con người. Vì vậy, họ thường cần suy nghĩ về những khái niệm có vẻ đơn giản đối với mọi người. Một gợi ý như vậy là cụm từ, “hãy suy nghĩ từng bước một.” Sẽ thật tuyệt vời nếu các mô hình hiểu hoặc tạo ra các hướng dẫn cụ thể và phù hợp hơn từ yêu cầu và tuân theo chúng chính xác hơn như thể dự đoán cách một người sẽ hành xử.
Thực tế là GPT-3 được đào tạo để chỉ đoán trước từ tiếp theo trong một bộ sưu tập văn bản khổng lồ từ Internet, rất nhiều thứ khác nhau được viết ra, góp phần làm thiếu đi những khả năng “mặc định” như vậy. Mọi người muốn trí tuệ nhân tạo cung cấp thông tin liên quan, đồng thời giữ cho các phản hồi an toàn và không độc hại.
Khi các nhà nghiên cứu đưa ra một số suy nghĩ về vấn đề này, rõ ràng là các thuộc tính của mô hình về “độ chính xác và hữu ích” và “vô hại và không độc hại” đôi khi dường như mâu thuẫn với nhau. Xét cho cùng, một mô hình được điều chỉnh để đạt mức vô hại tối đa sẽ phản ứng với bất kỳ lời nhắc nào bằng câu “Xin lỗi, tôi lo ngại rằng câu trả lời của tôi có thể xúc phạm ai đó trên Internet”. Một mô hình chính xác sẽ thẳng thắn trả lời yêu cầu, "Được rồi, Siri, cách tạo ra một quả bom."
Do đó, các nhà nghiên cứu bị giới hạn chỉ đơn giản là cung cấp cho mô hình rất nhiều phản hồi. Theo một nghĩa nào đó, đây chính là cách trẻ em học đạo đức: Chúng thử nghiệm trong thời thơ ấu, đồng thời chúng nghiên cứu kỹ phản ứng của người lớn để đánh giá xem chúng có cư xử đúng đắn hay không.
DạyGPT, còn được biết là GPT-3.5, về cơ bản là GPT-3 đã nhận được rất nhiều phản hồi để cải thiện câu trả lời của mình. Theo nghĩa đen, một số cá nhân đã được tập trung tại một nơi, đánh giá các phản hồi của mạng lưới thần kinh để xác định xem chúng phù hợp với mong đợi của mình như thế nào so với yêu cầu mà họ đưa ra.
Nó chỉ ra rằng GPT-3 đã có sẵn tất cả các kiến thức cần thiết: Nó có thể hiểu nhiều ngôn ngữ, nhớ lại các sự kiện lịch sử, nhận ra các biến thể trong phong cách tác giả, v.v., nhưng nó chỉ có thể học cách sử dụng kiến thức này một cách chính xác (theo quan điểm của chúng tôi) với đầu vào từ các cá nhân khác. GPT-3.5 có thể được coi là một mô hình “được xã hội giáo dục”.
Tóm tắt: Chức năng chính của GPT-3.5, được giới thiệu vào đầu năm 2022, là chương trình đào tạo lại bổ sung dựa trên ý kiến đóng góp của các cá nhân. Hóa ra mô hình này không thực sự trở nên lớn hơn và khôn ngoan hơn mà đúng hơn, nó đã làm chủ được khả năng điều chỉnh các phản ứng của mình để mang lại cho mọi người những tràng cười sảng khoái nhất.
ChatGPT: Sự cường điệu ồ ạt
Khoảng 10 tháng sau Hướng dẫn tiền nhiệmGPT/GGPT-3.5, ChatGPT đã được giới thiệu. Ngay lập tức, nó gây ra sự cường điệu toàn cầu.
Từ quan điểm công nghệ, có vẻ như không có sự khác biệt đáng kể nào giữa ChatGPT và hướng dẫnGPT. Mô hình đã được đào tạo với dữ liệu hộp thoại bổ sung vì “công việc trợ lý AI” yêu cầu định dạng hộp thoại duy nhất, chẳng hạn như khả năng đặt câu hỏi làm rõ nếu yêu cầu của người dùng không rõ ràng.
Vậy tại sao không có sự cường điệu nào xung quanh GPT-3.5 vào đầu năm 2022 trong khi ChatGPT bắt vào như cháy rừng? Sam Altman, Giám đốc điều hành của OpenAI, công khai thừa nhận rằng các nhà nghiên cứu mà chúng tôi đã ngạc nhiên bởi ChatGPTthành công ngay lập tức. Rốt cuộc, một mô hình có khả năng tương đương với nó đã nằm im lìm trên trang web của họ hơn mười tháng vào thời điểm đó và không ai bắt tay vào thực hiện.
Thật khó tin nhưng có vẻ như giao diện mới thân thiện với người dùng chính là chìa khóa thành công của nó. Hướng dẫn tương tựGPT chỉ có thể được truy cập thông qua giao diện API duy nhất, hạn chế quyền truy cập của mọi người vào mô hình. ChatGPT, mặt khác, sử dụng giao diện “cửa sổ hộp thoại” nổi tiếng của các trình nhắn tin. Ngoài ra, kể từ khi ChatGPT có sẵn cho tất cả mọi người cùng một lúc, một loạt các cá nhân vội vã tương tác với mạng thần kinh, sàng lọc chúng và đăng chúng lên truyền thông xã hội, thổi phồng người khác.
| More: Hệ thống giáo dục của Mỹ đang rất cần 300 nghìn giáo viên - nhưng ChatGPT có thể là câu trả lời |
Ngoài công nghệ tuyệt vời, một điều khác đã được thực hiện đúng bởi OpenAI: tiếp thị. Ngay cả khi bạn có mô hình tốt nhất hoặc chatbot thông minh nhất, nếu nó không có giao diện dễ sử dụng, sẽ không ai quan tâm đến nó. Về vấn đề này, ChatGPT đã đạt được một bước đột phá bằng cách giới thiệu công nghệ này tới công chúng bằng cách sử dụng hộp thoại thông thường, trong đó một rô-bốt hữu ích sẽ “in” giải pháp ngay trước mắt chúng ta, từng chữ một.
Không ngạc nhiên, ChatGPT đạt tất cả các kỷ lục trước đó về thu hút người dùng mới, vượt mốc 1 triệu người dùng chỉ sau 100 ngày ra mắt và vượt mốc XNUMX triệu người dùng chỉ sau XNUMX tháng.
Tất nhiên, ở đâu có lượng người dùng tăng kỷ lục, ở đó có rất nhiều tiền. Người Trung Quốc khẩn trương thông báo về việc phát hành sắp xảy ra của chính họ chatbot, Microsoft đã nhanh chóng đạt được thỏa thuận với OpenAI để đầu tư hàng chục tỷ đô la vào chúng, và các kỹ sư của Google đã gióng lên hồi chuông cảnh báo và bắt đầu xây dựng các kế hoạch để bảo vệ dịch vụ tìm kiếm của họ khỏi sự cạnh tranh với mạng lưới thần kinh.
Tóm tắt: Khi ChatGPT được giới thiệu vào tháng 2022 năm XNUMX, không có bất kỳ tiến bộ công nghệ đáng chú ý nào. Tuy nhiên, nó có một giao diện thuận tiện cho sự tham gia của người dùng và truy cập mở, điều này ngay lập tức gây ra một làn sóng cường điệu lớn. Vì đây là vấn đề quan trọng nhất trong thế giới hiện đại, mọi người bắt đầu giải quyết các mô hình ngôn ngữ ngay lập tức.
Đọc thêm về AI:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
