"Teknisk industri kommer att gå mot minskat beroende av GPU:er 2024", hävdar Greg Osuri, VD för Akash Network
I korthet
VD för Overclock Labs och Akash Network, Greg Osuri hävdar att omfamning av mindre GPU:er kommer att omforma det tekniska landskapet 2024 och låsa upp krusningseffekter.
Som stora aktörer inom teknikbranschen fortsätter att dominera marknaden med kraftfulla GPU:er, en anmärkningsvärd förändring mot mindre kraftfulla marker förväntas vara 2024. Flytten, driven av behovet av alternativ, förväntas omforma landskapet, vilket gör det möjligt för mindre företag och startups att bidra väsentligt till det pågående AI-boom.
Efterfrågan på högpresterande datorer, särskilt för att träna stora språkmodeller, har överträffat förmågan hos traditionella leverantörer som t.ex. AWS, Microsoft Azure och Google Cloud. Mindre företag tycker att det är svårt att ha råd med och reservera dessa högpresterande resurser, vilket leder till ett växande intresse för distribuerade och tillståndslösa nätverk.
I en konversation med Metaverse Post — Greg Osuri, VD för Overclock Labs och Akash nätverk, kasta ljus över de drivande faktorerna och potentiella konsekvenserna bakom denna transformativa trend.
Decentraliserade molnplattformen Akash Network hade nyligen meddelat en betydande uppgradering till moln med Mainnet 8. Den nya uppgraderingen introducerade viktiga förbättringar som syftar till att förenkla GPU-åtkomst och höja implementeringsupplevelsen.
Greg Osuri identifierar att optimera datamängdskraven som ett nyckelelement för att omfamna mindre GPU:er.
Low-Rank Adaptation (LoRA) framstår som en avgörande teknik i detta skifte. Denna strategiska modifiering fokuserar på kritiska vikter, minskar antalet parametrar som behövs och bevarar den ursprungliga förutbildade kunskapen i modellen.
"De som letar efter alternativ mitt i GPU-pressen kommer att göra framsteg genom att använda mindre intensiva datauppsättningskrav, implementera mer effektiva tekniker som Low-Rank Adaptation (LoRA) för att träna språkmodeller och distribuera arbetsbelastningar på ett parallellt sätt," sa Akash Networks Greg Osuri Metaverse Post. "Detta innebär att distribuera kluster av lägre nivåer chips för att utföra uppgifter som motsvarar ett mindre antal A100 och H100s. En ny era av cloud computing kommer att växa fram, en där makten är decentraliserad och inte i händerna på bara ett fåtal.”
Han säger att parallellisering av arbetsbelastningar genom kluster av mindre marker är en annan strategi. Jämfört med traditionell GPU-användning erbjuder kluster bättre skalbarhet, kostnadseffektivitet och fördelade arbetsbelastningsmöjligheter. Utmaningar inkluderar dock dataöverföringsfördröjning, synkroniseringsproblem, skalbarhetsgränser och kommunikationskostnader.
”Ju större data är, desto dyrare och svårare blir kommunikationskostnaderna mellan icke-samlokaliserade maskiner, så det kommer troligen att behövas effektivare metoder/tekniker för att övervinna dyra och utmanande kommunikationsbarriärer. En kombination av hårdvara och mjukvara behövs för framgångsrik implementering, säger Greg Osuri.
Framväxten av distribuerade och tillståndslösa nätverk framträder som en avgörande möjliggörare, som ger organisationer möjlighet att utnyttja potentialen hos mindre GPU:er och öka det totala chiputnyttjandet.
"För att uppnå optimering bör organisationer överväga mindre batchstorlekar som kräver mindre GPU-minne, träna på en delmängd av data för att felsöka, använda förtränade modeller eftersom de kräver mindre beräkningsresurser och distribuera utbildning över flera GPU:er," förklarade Greg Osuri. "Detta tillåter mindre företag och nystartade företag att förnya sig och ge verkliga bidrag till AI-boomen utan att vara helt beroende av de mest kraftfulla GPU:erna."
Distribuerade nätverk kan stärka det tekniska landskapet
Akash Networks Greg Osuri föreställer sig att en omfamning av mindre GPU:er kommer att främja en mer mångsidig och konkurrenskraftig miljö, vilket mildrar oro relaterade till teknikjättar som dominerar AI-landskap. Han säger att detta tillvägagångssätt ger en kostnadseffektiv, utvecklare-första lösning för att komma åt ett brett utbud av GPU: er, vilket gör att mindre spelare kan konkurrera på lika villkor.
"Innovativa, decentraliserade lösningar fortsätter att dyka upp, som tar itu med den ökade efterfrågan, säkerställer rättvis GPU-åtkomst och främjar innovation inom molnbaserad datoranvändning och AI-modellutbildning. Genom att ge tillståndslös åtkomst till datorresurser – inklusive Nvidia A100s och H100s – från en rad leverantörer, från oberoende till hyperskala, är dessa datorplattformar unikt positionerade för att mildra ineffektivitet”, sa han.
Mindre företag och nystartade företag förväntas utnyttja övergången till mindre GPU:er för att ge meningsfulla bidrag till AI-domän. Exempel, som Thumper.ais användning av ett kluster av 32 Nvidia A100s, lyfter fram optimeringen av underutnyttjad datorkraft för snabbare distributionshastigheter.
"Genom att erbjuda ett kostnadseffektivt tillvägagångssätt för att komma åt ett brett utbud av GPU:er, från högpresterande datacenterchips till konsumentmodeller, kommer mindre aktörer att kunna få tillgång till samma dator som mer etablerade företag som har flexibilitet i sin verksamhet. utgifter”, tillade Greg Osuri.
Om vi tittar på bredare implikationer förutser Mr. Osuri ett potentiellt paradigmskifte inom teknikindustrin. Övergången till mindre kraftfulla GPU:er och decentraliserad datoranvändning kan leda till utvecklingen av nya applikationer och användningsfall, som sträcker sig bortom AI till andra tekniska domäner.
"Den inneboende flexibiliteten i ett distribuerat nätverk skulle kunna göra det möjligt för oberoende utvecklare och forskare att experimentera med helt nya applikationer och låsa upp nya sätt att utveckla radikalt öppna applikationsarkitekturer," sa Akash Networks Greg Osuri Metaverse Post. "Denna ringeffekt kan leda till utvecklingen av mer decentraliserade applikationer och tjänster över branscher, bredare delning av beräkningsresurser och kunskap, "comeback" av crypto och blockchain, och integration med befintlig teknik."
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Victor är Managing Tech Editor/Writer på Metaverse Post och täcker artificiell intelligens, krypto, datavetenskap, metaverse och cybersäkerhet inom företagssfären. Han har ett halvt decennium av media- och AI-erfarenhet av att arbeta på välkända medier som VentureBeat, DatatechVibe och Analytics India Magazine. Som mediamentor vid prestigefyllda universitet inklusive Oxford och USC och med en magisterexamen i datavetenskap och analys, är Victor djupt engagerad i att hålla sig à jour med nya trender. Han erbjuder läsarna de senaste och mest insiktsfulla berättelserna från Tech och Web3 landskap.
fler artiklar
Victor är Managing Tech Editor/Writer på Metaverse Post och täcker artificiell intelligens, krypto, datavetenskap, metaverse och cybersäkerhet inom företagssfären. Han har ett halvt decennium av media- och AI-erfarenhet av att arbeta på välkända medier som VentureBeat, DatatechVibe och Analytics India Magazine. Som mediamentor vid prestigefyllda universitet inklusive Oxford och USC och med en magisterexamen i datavetenskap och analys, är Victor djupt engagerad i att hålla sig à jour med nya trender. Han erbjuder läsarna de senaste och mest insiktsfulla berättelserna från Tech och Web3 landskap.
