新聞報導 專業技術
2023 年 9 月 27 日

Cloudflare 將與 Microsoft 和 Hugging Face 合作在 Edge 上部署 NVIDIA GPU

簡單來說

Cloudflare 宣布將部署 NVIDIA GPU,為客戶提供本機運算能力。

該公司還宣布與 Microsoft 和 Hugging Face 建立雲端人工智慧合作夥伴關係

Cloudflare 今天宣布將在邊緣部署 NVIDIA GPU,採用 NVIDIA 的全端推理軟體,包括 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理伺服器。

該公司的目標是加速人工智慧應用程式的效能,包括大型語言模型。 從今天開始,所有 Cloudflare 客戶都可以存取本地運算能力來提供 AI 應用程式和服務。 此外,該公司將首次大規模提供即用即付的運算能力,從而消除企業預先投資大量資金的需要。

隨著人工智慧應用程式的發展推動對 GPU 的需求不斷增加,Cloudflare 的目標是在全球範圍內提供生成式人工智慧推理。

透過其全球邊緣網路中的 NVIDIA GPU,Cloudflare 現在將為最終用戶提供低延遲的生成式 AI 體驗。 該公司表示,到 100 年底,這些 GPU 將可在 2023 多個城市執行推理任務,到 2024 年底可在其網路上使用。 

Cloudflare 聯合創始人兼首席執行官 Matthew Prince 表示:“我們已經獲得了在 2023 年底之前完成建設所需的所有 GPU,並且對之後繼續確保 GPU 安全的能力充滿信心。” Metaverse Post.

此外,Cloudflare 表示 GPU 部署將為客戶提供靠近其資料的運算能力。 這種接近性確保資料處理符合區域和全球法規。 

Prince 表示:“控制推理的運行位置有助於實現數據主權,確保用戶請求始終遵守 GDPR 等法規,並確保數據保留在區域內。”

與微軟的人工智慧合作

Cloudflare 今天也宣布與 Microsoft 建立合作夥伴關係。 雖然其部署 NVIDIA GPU 的目的是讓客戶的資料更接近運算能力,但其與 Microsoft 的合作旨在透過實現位置靈活性來簡化 AI 操作。

Cloudflare 表示,此次合作將使企業能夠在包括設備、網路邊緣和雲端環境的連續體中部署人工智慧模型,從而優化集中式和分散式運算模型。 

利用 ONNX運行時 在這三個層級中,Cloudflare 和 Microsoft 的目標是確保 AI 模型在此架構中最有效率的地方運作。

人工智慧模型訓練需要大量的運算和儲存資源,由於距離較近,有利於集中式雲端平台。 相較之下,推理任務將轉向更加分散的位置,包括設備和邊緣網絡,而訓練仍然集中。

該公司聲稱,它可以根據連接性、延遲、合規性等因素提供基礎設施來引導不同環境中的流量。 

因此,企業將能夠優化人工智慧任務的位置,在最適合實現其預期結果的地方部署人工智慧推理。 例如,安全攝影機系統可以利用邊緣網路進行物件偵測,克服設備限制,而不會產生與將資料傳送到中央伺服器進行處理相關的延遲。

此外,組織將能夠透過在所有三個位置(設備、邊緣網路和雲端)運行模型來適應不斷變化的需求,並根據可用性、用例和延遲要求等因素進行調整或回退。 這種適應性確保人工智慧操作在不斷變化的環境中保持響應能力和有效性。

此外,Cloudflare 表示將提供簡化的部署流程,使企業能夠透過 Microsoft Azure 機器學習存取可輕鬆部署的模型和機器學習工具。 工人人工智慧.

微軟數據、人工智慧和新興技術總經理Rashmi Misra 表示:「隨著公司探索以獨特的方式利用生成式人工智慧的力量來滿足其需求的最佳方式,在任何地方運行人工智慧模型的能力至關重要。”

抱臉首個Serverless GPU合作夥伴

除了宣布與 Microsoft 合作之外,Cloudflare 還宣布與 Hugging Face 建立合作夥伴關係。 透過此次合作,Cloudflare 將成為第一個部署 Hugging Face 模型的無伺服器 GPU 合作夥伴。

其目的是使開發人員能夠在全球範圍內部署人工智慧,而無需基礎設施管理或為未使用的運算能力付費。

「小公司在嘗試創建新的人工智慧應用程式時面臨一些挑戰。 Cloudfare 執行長 Matthew Prince 表示:“這些挑戰之一是全球 GPU 的稀缺。”

「我們認為無伺服器、多租戶模型對於支援任何規模的公司並允許他們為他們使用的內容付費是必要的。 我們不希望大公司保留GPU並壟斷AI推理市場。”

該公司表示,Hugging Face 最受歡迎的型號將整合到 Cloudflare 的模型目錄中,並針對其全球網路進行最佳化。 這種整合使全世界的開發人員都可以使用最受歡迎的模型。

開發人員也可以直接從 Hugging Face 中點擊一下即可部署 Workers AI。 這種簡化的流程使開發人員能夠專注於編碼和人工智慧應用程式開發。

Hugging Face 執行長 Clem Delangue 表示:“Hugging Face 和 Cloudflare 都致力於讓 AI 建造者盡可能輕鬆地獲取和負擔得起最新的 AI 創新。” 「我們很高興與 Cloudflare 合作提供無伺服器 GPU 服務,幫助開發人員將他們的 AI 應用程式從零擴展到全局,而無需爭論基礎設施或 預測未來 他們的應用程式的需求 - 只需選擇您的模型並進行部署。”

免責聲明

在與線 信託專案指南,請注意,本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是,僅投資您可以承受損失的金額,並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息,我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告,但市場狀況如有變更,恕不另行通知。

關於作者

辛迪是一名記者 Metaverse Post,涵蓋相關主題 web3, NFT、元宇宙和人工智能,重點是採訪 Web3 行業參與者。她曾與 30 多位 C 級高管進行過交談,並將他們的寶貴見解帶給讀者。辛蒂來自新加坡,現居住在喬治亞第比利斯。她擁有南澳大利亞大學傳播與媒體研究學士學位,並擁有十年的新聞和寫作經驗。透過以下方式與她聯繫 [電子郵件保護] 有新聞發布會、公告和採訪機會。

更多文章
辛迪譚
辛迪譚

辛迪是一名記者 Metaverse Post,涵蓋相關主題 web3, NFT、元宇宙和人工智能,重點是採訪 Web3 行業參與者。她曾與 30 多位 C 級高管進行過交談,並將他們的寶貴見解帶給讀者。辛蒂來自新加坡,現居住在喬治亞第比利斯。她擁有南澳大利亞大學傳播與媒體研究學士學位,並擁有十年的新聞和寫作經驗。透過以下方式與她聯繫 [電子郵件保護] 有新聞發布會、公告和採訪機會。

Hot Stories

提升您的加密技能:深入了解 PowerPool 的 DePIN 網路並獲得獎勵

by 維多利亞·帕爾奇克
2024 年 6 月 21 日
加入我們的時事通訊。
最新消息

從 Ripple 到大型綠色 DAO:加密貨幣專案如何為慈善事業做出貢獻

讓我們探索利用數位貨幣潛力進行慈善事業的措施。

了解更多

AlphaFold 3、Med-Gemini 等:2024 年人工智慧改變醫療保健的方式

人工智慧在醫療保健領域有多種表現形式,從發現新的遺傳相關性到增強機器人手術系統的能力…

了解更多
加入我們的創新技術社區
了解更多
阅读更多
提升您的加密技能:深入了解 PowerPool 的 DePIN 網路並獲得獎勵
意見 商業 教育 市場 軟體 專業技術
提升您的加密技能:深入了解 PowerPool 的 DePIN 網路並獲得獎勵
2024 年 6 月 21 日
Tabi 允許受 KYC 限制的用戶在 30 月 XNUMX 日前申請 Captain Node VIP 門票退款
新聞報導 專業技術
Tabi 允許受 KYC 限制的用戶在 30 月 XNUMX 日前申請 Captain Node VIP 門票退款
2024 年 6 月 21 日
Router V2 發布:區塊鏈互通性的革命性飛躍,有望實現閃電般的快速交易和增強的安全性
Q&A 商業 市場 軟體 專業技術
Router V2 發布:區塊鏈互通性的革命性飛躍,有望實現閃電般的快速交易和增強的安全性
2024 年 6 月 21 日
加密貨幣交易所幣安與巴西足球聯合會合作推出國家主要足球聯賽的免費通行證
生活方式 新聞報導 專業技術
加密貨幣交易所幣安與巴西足球聯合會合作推出國家主要足球聯賽的免費通行證
2024 年 6 月 21 日