Nieuwsverslag Technologie
27 september 2023

Cloudflare gaat NVIDIA GPU's op Edge implementeren, werkt samen met Microsoft en Hugging Face

In het kort

Cloudflare heeft aangekondigd dat het NVIDIA GPU’s zal inzetten om klanten toegang te bieden tot lokale rekenkracht.

Het bedrijf kondigde ook AI via cloud-partnerschappen aan met Microsoft en Hugging Face

Cloudflare heeft vandaag aangekondigd dat het NVIDIA GPU's aan de edge zal inzetten, met NVIDIA's full-stack inferentiesoftware - inclusief NVIDIA TensorRT-LLM en NVIDIA Triton Inference-server.

Het bedrijf wil de prestaties van AI-toepassingen versnellen, inclusief grote taalmodellen. Vanaf vandaag hebben alle Cloudflare-klanten toegang tot lokale rekenkracht om AI-applicaties en -diensten te leveren. Bovendien zal het bedrijf voor het eerst op grote schaal pay-as-you-go rekenkracht aanbieden, waardoor bedrijven niet meer vooraf enorme bedragen hoeven te investeren.

Met de toegenomen vraag naar GPU’s, aangedreven door de ontwikkeling van AI-applicaties, wil Cloudflare generatieve AI-inferentie wereldwijd toegankelijk maken.

Via NVIDIA GPU's in zijn wereldwijde edge-netwerk zal Cloudflare nu generatieve AI-ervaringen met lage latentie voor eindgebruikers bieden. Het bedrijf zei dat deze GPU's tegen eind 100 toegankelijk zullen zijn voor inferentietaken in meer dan 2023 steden en tegen eind 2024 in het hele netwerk. 

“We hebben al alle GPU’s veiliggesteld die we nodig hebben om de bouw tot eind 2023 te voltooien en hebben er alle vertrouwen in dat we daarna de GPU’s kunnen blijven beveiligen”, zegt Matthew Prince, medeoprichter en CEO van Cloudflare. Metaverse Post.

Bovendien zei Cloudflare dat de GPU-implementatie klanten toegang zal bieden tot rekenkracht in de buurt van hun gegevens. Deze nabijheid zorgt ervoor dat de gegevensverwerking in lijn is met regionale en mondiale regelgeving. 

“Het hebben van controle over waar de inferentie wordt uitgevoerd, kan helpen bij de datasoevereiniteit, om ervoor te zorgen dat gebruikersverzoeken altijd voldoen aan regelgeving zoals de AVG en om ervoor te zorgen dat gegevens binnen de lokale locatie blijven”, aldus Prince.

AI-partnerschap met Microsoft

Cloudflare heeft vandaag ook een samenwerking met Microsoft aangekondigd. Hoewel de inzet van NVIDIA GPU's is ontworpen om de gegevens van klanten dichter bij rekenkracht te brengen, heeft de samenwerking met Microsoft tot doel de AI-activiteiten te stroomlijnen door locatieflexibiliteit mogelijk te maken.

Cloudflare zei dat deze samenwerking bedrijven in staat zal stellen AI-modellen in te zetten over een continuüm dat apparaten, netwerkranden en cloudomgevingen omvat, waardoor zowel gecentraliseerde als gedistribueerde computermodellen worden geoptimaliseerd. 

Gebruik makend ONNX-looptijd Op deze drie niveaus willen Cloudflare en Microsoft ervoor zorgen dat AI-modellen draaien waar dit binnen deze architectuur het meest efficiënt is.

Het trainen van AI-modellen vereist substantiële computer- en opslagbronnen, waarbij de voorkeur uitgaat naar gecentraliseerde cloudplatforms vanwege hun nabijheid. Inferentietaken zullen daarentegen verschuiven naar meer gedistribueerde locaties, inclusief apparaten en edge-netwerken, terwijl training gecentraliseerd blijft.

Het bedrijf beweert dat het de infrastructuur kan bieden om verkeer over verschillende omgevingen te leiden, op basis van factoren zoals connectiviteit, latentie, compliance en meer. 

Als gevolg hiervan zullen bedrijven de locatie voor AI-taken kunnen optimaliseren en AI-inferentie kunnen inzetten waar dit het beste aansluit bij het bereiken van de gewenste resultaten. Een beveiligingscamerasysteem kan bijvoorbeeld edge-netwerken gebruiken voor objectdetectie, waardoor apparaatbeperkingen worden overwonnen zonder de latentie die gepaard gaat met het verzenden van gegevens naar een centrale server voor verwerking.

Bovendien kunnen organisaties zich aanpassen aan veranderende behoeften door modellen op alle drie de locaties (apparaten, edge-netwerken en de cloud) uit te voeren en aanpassingen of terugval te maken op basis van factoren zoals beschikbaarheid, gebruiksscenario en latentievereisten. Dit aanpassingsvermogen zorgt ervoor dat AI-operaties responsief en effectief blijven in veranderende omstandigheden.

Bovendien zei Cloudflare dat het een gestroomlijnd implementatieproces zal bieden, waardoor bedrijven toegang krijgen tot eenvoudig inzetbare modellen en machine learning-tools via Microsoft Azure Machine Learning op Werknemers AI.

“Terwijl bedrijven de beste manier onderzoeken om de kracht van generatieve AI op unieke manieren te benutten om aan hun behoeften te voldoen, is de mogelijkheid om AI-modellen overal te gebruiken van het grootste belang”, zegt Rashmi Misra, GM van Data, AI, & Emerging Technologies bij Microsoft.

De eerste serverloze GPU-partner van Hugging Face

Naast de aankondiging van de samenwerking met Microsoft onthulde Cloudflare een samenwerking met Hugging Face. Door de samenwerking wordt Cloudflare de eerste serverloze GPU-partner voor het inzetten van Hugging Face-modellen.

Dit is bedoeld om ontwikkelaars in staat te stellen AI wereldwijd in te zetten, zonder infrastructuurbeheer of te betalen voor ongebruikte rekencapaciteit.

“Kleine bedrijven hebben verschillende uitdagingen bij het creëren van nieuwe AI-toepassingen. Een van die uitdagingen is de schaarste aan GPU’s over de hele wereld”, zegt Matthew Prince, CEO van Cloudfare.

“Wij denken dat een serverloos, multi-tenant model nodig is om bedrijven van elke omvang te ondersteunen en hen in staat te stellen te betalen voor precies wat ze gebruiken. We willen niet dat grote bedrijven GPU’s reserveren en de markt voor AI-inferentie monopoliseren.”

Het bedrijf zei dat de populairste modellen van Hugging Face zullen worden geïntegreerd in de modellencatalogus van Cloudflare en zullen worden geoptimaliseerd voor zijn wereldwijde netwerk. Deze integratie maakt de populairste modellen toegankelijk voor ontwikkelaars wereldwijd.

Ontwikkelaars kunnen Workers AI ook met één klik rechtstreeks vanuit Hugging Face inzetten. Dit gestroomlijnde proces stelt ontwikkelaars in staat zich te concentreren op codering en de ontwikkeling van AI-applicaties.

“Hugging Face en Cloudflare delen beide een diepe focus op het zo toegankelijk en betaalbaar mogelijk maken van de nieuwste AI-innovaties voor AI-bouwers”, zegt Clem Delangue, CEO van Hugging Face. “We zijn verheugd om in samenwerking met Cloudflare serverloze GPU-diensten aan te bieden om ontwikkelaars te helpen hun AI-apps van nul naar mondiaal te schalen, zonder dat ze hoeven te worstelen met infrastructuur of toekomst voorspellen behoeften van hun applicatie – kies gewoon uw model en implementeer.”

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Cindy is journaliste bij Metaverse Post, over onderwerpen die verband houden met web3, NFT, metaverse en AI, met een focus op interviews met Web3 spelers uit de industrie. Ze heeft met meer dan dertig leidinggevenden op C-niveau gesproken en er komen er steeds meer bij, en bracht hun waardevolle inzichten naar de lezers. Cindy komt oorspronkelijk uit Singapore en is nu gevestigd in Tbilisi, Georgië. Ze heeft een bachelordiploma in communicatie- en mediastudies van de Universiteit van Zuid-Australië en heeft tien jaar ervaring in journalistiek en schrijven. Neem contact met haar op via [e-mail beveiligd] met perspitches, aankondigingen en interviewmogelijkheden.

Meer artikelen
Cindy Tan
Cindy Tan

Cindy is journaliste bij Metaverse Post, over onderwerpen die verband houden met web3, NFT, metaverse en AI, met een focus op interviews met Web3 spelers uit de industrie. Ze heeft met meer dan dertig leidinggevenden op C-niveau gesproken en er komen er steeds meer bij, en bracht hun waardevolle inzichten naar de lezers. Cindy komt oorspronkelijk uit Singapore en is nu gevestigd in Tbilisi, Georgië. Ze heeft een bachelordiploma in communicatie- en mediastudies van de Universiteit van Zuid-Australië en heeft tien jaar ervaring in journalistiek en schrijven. Neem contact met haar op via [e-mail beveiligd] met perspitches, aankondigingen en interviewmogelijkheden.

Van Ripple tot The Big Green DAO: hoe cryptocurrency-projecten bijdragen aan liefdadigheid

Laten we initiatieven onderzoeken die het potentieel van digitale valuta voor goede doelen benutten.

Meer weten

AlphaFold 3, Med-Gemini en anderen: de manier waarop AI de gezondheidszorg transformeert in 2024

AI manifesteert zich op verschillende manieren in de gezondheidszorg, van het blootleggen van nieuwe genetische correlaties tot het versterken van robotchirurgische systemen...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
Handelaar Joe lanceert Liquidity Book V2.2 en introduceert de functie 'Geconcentreerde Incentives'
Nieuwsverslag Technologie
Handelaar Joe lanceert Liquidity Book V2.2 en introduceert de functie 'Geconcentreerde Incentives'
17 June 2024
Crypto Exchange Binance lanceert 'Futures Grand Tournament' met een prijzenpot van 3 miljoen USDT
Lifestyle Nieuwsverslag Technologie
Crypto Exchange Binance lanceert 'Futures Grand Tournament' met een prijzenpot van 3 miljoen USDT
17 June 2024
Koreaanse cryptobeurzen staan ​​voor moeilijke beslissingen: nieuwe wet eist driemaandelijkse beoordelingen en mogelijke verwijdering van 600 altcoins
Advies Business markten Technologie
Koreaanse cryptobeurzen staan ​​voor moeilijke beslissingen: nieuwe wet eist driemaandelijkse beoordelingen en mogelijke verwijdering van 600 altcoins
17 June 2024
Jupiter brengt voorstel uit over het Uplink-werkgroepbudget, plannen om $ 552 en 2.15 miljoen JUP toe te wijzen
Nieuwsverslag Technologie
Jupiter brengt voorstel uit over het Uplink-werkgroepbudget, plannen om $ 552 en 2.15 miljoen JUP toe te wijzen
17 June 2024