GPT-5 Việc đào tạo sẽ tốn 2.5 tỷ USD và bắt đầu vào năm tới
Người dùng Twitter Martin Shkreli từ NY đã đăng hôm nay rằng GPT-5 sẽ cần khoảng 2.0-2.5 tỷ USD cho việc đào tạo. Khóa đào tạo này sẽ bao gồm 500,000 GPU Tensor Core H100 trong 90 ngày hoặc một cấu hình thay thế. Việc đào tạo sẽ bắt đầu vào năm tới.
OpenAI đang tích cực làm việc tăng cường GPT-4 với nhiều khả năng khác nhau, chẳng hạn như phương án, cơ quan, lý luận Socrates, biểu đồ tri thức, mô hình thế giới, đa phương thức, lập kế hoạch, khả năng diễn giải ngữ nghĩa, tư duy tổ ong, kiểm soát và giới hạn, cũng như các nhiệm vụ có giá trị cao nhỏ hơn.
Quy mô sản xuất H100/A100 đặt ra câu hỏi. Liệu có đủ số GPU này cho một công việc quan trọng như vậy không? Khoảng 1 triệu chiếc H100 dự kiến sẽ được sản xuất vào cuối năm nay và ước tính khoảng 5 triệu chiếc có thể được xuất xưởng vào năm sau.
Về chi phí, có một điểm hợp lý về GPU. Việc đưa chi phí của những GPU này vào chi phí đào tạo có thể gây hiểu nhầm vì chúng không trở nên lỗi thời sau quá trình đào tạo. Chỉ riêng những GPU đó đã có thể lên tới 20 tỷ USD.
Điều đáng chú ý là công suất sản xuất tối đa của công ty Sản xuất Chip Đám mây kim loại bền vững (SMC) cho H100 hiện là 15,000 chiếc mỗi tháng, nhưng họ đã tăng sản lượng lên khoảng 50,000 chiếc mỗi tháng.
Về chi phí điện, chúng chiếm một phần tương đối nhỏ trong tổng chi phí điện toán. Để so sánh, 6,000,000 kWh sẽ tương đương khoảng 1 triệu USD.
| Sản phẩm liên quan: Tiềm năng của ngành AI để cạnh tranh với mức tiêu thụ điện quốc gia |
Việc có được 500,000 chiếc H100 vào năm tới dường như là một nhiệm vụ đầy thách thức, ngay cả khi có sự hỗ trợ của Microsoft. Ngoài ra, các câu hỏi đặt ra về chi phí suy luận nếu quá trình đào tạo thực sự đòi hỏi nhiều tính toán như đề xuất.
Trong ngữ cảnh của thị trường của Nvidia vào năm 2023, đáng chú ý là thành công của họ được cho là đã tăng gấp ba lần, vượt qua 1 nghìn tỷ USD. Sự tăng trưởng này phần lớn có thể là do việc tăng cường sử dụng chip Nvidia trong các ứng dụng AI. Tuy nhiên, điều quan trọng là phải xem xét rằng Hạn chế xuất khẩu của Mỹ đã hạn chế bán chip AI cao cấp tại thị trường Trung Quốc, điều này có thể ảnh hưởng đến chi phí sản xuất và đào tạo.
Nvidia đang tạo ra tỷ lệ lợi nhuận gần gấp nghìn lần theo nhà văn cấp cao Tae Kim của Barron, đối với mỗi bộ tăng tốc GPU H100 mà nó bán ra. Điều này có nghĩa là giá bán trên thị trường của Nvidia vào khoảng 25,000 đến 30,000 USD cho mỗi bộ tăng tốc HPC, bao gồm chi phí ước tính 3,320 USD cho mỗi chip và các thành phần ngoại vi. Phân tích chi phí không rõ ràng, nhưng nó được cho là vấn đề chi phí sản xuất thuần túy. Chi phí R&D của Nvidia cũng cần được xem xét, vì việc phát triển chip như H100 đòi hỏi hàng nghìn giờ làm việc của những người lao động chuyên môn. Tuy nhiên, các sản phẩm tăng tốc AI của Nvidia đã được bán cho đến năm 2024, với thị trường máy tăng tốc AI dự kiến sẽ trị giá khoảng 150 tỷ USD vào năm 2027.
Công ty đang được hưởng lợi từ cơ sở hạ tầng và nhóm sản phẩm của mình, nhưng ngân sách và chi phí cơ hội có thể hạn chế đầu tư vào các lĩnh vực khác hoặc hạn chế rủi ro ở các địa điểm nghiên cứu và phát triển.
| Sản phẩm liên quan: Cuộc cách mạng AI chỉ mới bắt đầu: Sẽ GPT-5 Đạt được trí tuệ tổng hợp nhân tạo? |
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
