Läckt Google-dokument avslöjar utmaningar med att upprätthålla konkurrensfördelar inom AI
I korthet
Ett läckt dokument från en Google-anställd (Luke Sernau) tyder på att språkmodeller med öppen källkod snabbt överträffar Googles framsteg.
Dokumentet lyfter fram vikten av att möjliggöra tredjepartsintegrationer och samarbeta med externa insatser istället för att driva gigantiska språkmodeller.
Googles försök att skydda sina tekniska fördelar från konkurrenter som t.ex OpenAI är utmanande.
En anonym person delade ett läckt dokument på en offentlig Discord-server från en forskare inom Google, bekräftade SemiAnalysis. De dokumentera understryker att även om OpenAI och Google är i en kapplöpning om att utveckla de mest avancerade språkmodellerna, deras framsteg överskuggas snabbt av de framsteg som gjorts inom öppen källkod.
Dokumentet innehåller personliga åsikter från en Google-anställd och representerar inte åsikterna från företaget som helhet. Enligt Direkt, Luke Sernau, senior mjukvaruingenjör på Google, delade dokumentet på en intern plattform inom företaget för ungefär en månad sedan.
"Medan våra modeller fortfarande har ett litet försprång när det gäller kvalitet, sluter gapet förvånansvärt snabbt. Modeller med öppen källkod är snabbare, mer anpassningsbara, mer privata och pund för pund mer kapabla. De gör saker med $100 och 13B params som vi kämpar med på $10M och 540B. Och de gör det på veckor, inte månader,
dokumentet läst.
Företagets inställning till språkmodeller ifrågasattes. Sernau skrev att Google inte har en "hemlig sås" och istället borde försöka lära av och samarbeta med externa insatser. Dokumentet betonade vikten av att möjliggöra tredjepartsintegrationer och erkände att människor sannolikt inte kommer att betala för en begränsad modell när det finns gratis alternativ av jämförbar kvalitet. Sernau hävdade också att jakten på jätte språkmodeller hindrade framstegen och föreslog att mindre varianter skulle få mer uppmärksamhet. Dokumentet drog slutsatsen att de bästa modellerna i det långa loppet är de som snabbt kan upprepas.
Diagrammet, som inkluderar etiketterna "2 veckors mellanrum" och "1 veckas mellanrum", härleddes från ett diagram i Vicuna 13-B-meddelandet. Författaren modifierade det ursprungliga diagrammet för att illustrera den snabba utvecklingen av LLaMA Vicuna och Alpaca efter LLaMA utveckling.
Googles försök att skydda sina tekniska fördelar från konkurrenter som OpenAI har visat sig vara utmanande. Med det växande samarbetet inom forskarvärlden har det dessutom blivit ännu svårare att upprätthålla en konkurrensfördel. Med prisvärd tillgång till spetsforskning om LLM:er genomför institutioner över hela världen studier som vida överträffar Googles kapacitet. Sernau föreslår att Google antingen kan hålla fast vid sina hemligheter medan innovation utifrån späder på dess värde eller försöka lära av andra i forskarvärlden.
Läs mer:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Agne är en journalist som täcker de senaste trenderna och utvecklingen inom metaversen, AI och Web3 industrier för Metaverse Post. Hennes passion för berättande har lett till att hon har genomfört ett flertal intervjuer med experter inom dessa områden och alltid försökt avslöja spännande och engagerande berättelser. Agne har en kandidatexamen i litteratur och har en omfattande bakgrund i att skriva om ett brett spektrum av ämnen, inklusive resor, konst och kultur. Hon har också varit volontär som redaktör för djurrättsorganisationen, där hon hjälpt till att öka medvetenheten om djurskyddsfrågor. Kontakta henne på [e-postskyddad].
fler artiklar
Agne är en journalist som täcker de senaste trenderna och utvecklingen inom metaversen, AI och Web3 industrier för Metaverse Post. Hennes passion för berättande har lett till att hon har genomfört ett flertal intervjuer med experter inom dessa områden och alltid försökt avslöja spännande och engagerande berättelser. Agne har en kandidatexamen i litteratur och har en omfattande bakgrund i att skriva om ett brett spektrum av ämnen, inklusive resor, konst och kultur. Hon har också varit volontär som redaktör för djurrättsorganisationen, där hon hjälpt till att öka medvetenheten om djurskyddsfrågor. Kontakta henne på [e-postskyddad].
