Databricks publicerar Dolly 2.0, den första kommersiellt tillgängliga 12B Chat-LLM med öppen källkod
I korthet
Databricks tillkännagav lanseringen av Dolly 2.0 som den första kommersiellt tillgängliga 12B Chat-LLM med öppen källkod, vilket gör det möjligt för företag att skapa kraftfulla språkmodeller utan att investera i dyra GPU-kluster.
Databricks har meddelade lanseringen av Dolly 2.0 som den första kommersiellt tillgängliga 12B Chat-LLM med öppen källkod. Dolly är ett stort genombrott för maskininlärningsindustrin, vilket gör att företag kan skapa kraftfulla språkmodeller – som autoregressiva LLM:er med dialogstöd – utan att behöva investera i dyra GPU-kluster.
För att få sin språkmodell med öppen källkod behövde Databricks en stor datauppsättning av hög kvalitet. Efter att först ha övervägt alpackan GPT-3 dataset och andra datauppsättningar med öppen källkod som inte tillåter kommersiell användning, bestämde de sig för att bygga sin egen datauppsättning av hög kvalitet. För att göra detta anställde de 5,000 XNUMX personer och bad dem skriva flera exempel som skulle användas för att träna en autoregressiv LLM som helt enkelt kan fortsätta texten och inte föra en dialog. Med hjälp av stora incitament, som bonusar för att skriva de bästa exemplen, kunde de sätta ihop en imponerande 15,000 XNUMX exempeldatauppsättningar.
Databricks tog nästa steg och införlivade EleutherAI:s Pythia-12B språkmodell med en MIT-licens, och tränade om den på sin egen datauppsättning, vilket resulterade i Dolly 2.0. Dolly 2.0 har släppts under en MIT-licens, tillsammans med den medföljande koden. Med lanseringen av Dolly 2.0 har maskininlärningsindustrin nu ett kraftfullt verktyg för att skapa robusta språkmodeller på ett kostnadseffektivt sätt. Detta kan användas av både företag och individer som vill skapa kraftfulla applikationer som kan förstå och bearbeta komplext språk.
Sammantaget lanseringen av dolly 2.0 som den första kommersiellt tillgängliga öppen källkod är 12B Chat-LLM en betydande milstolpe för maskininlärningsindustrin. Genom att dra nytta av MIT-licensen och skapa sin egen högkvalitativa dataset har Databricks gjort kraftfulla språkmodeller tillgängliga för både företag och individer. Dolly 2.0 kommer att revolutionera branschen och är ett stort steg framåt för maskininlärning.
Användare väntar nu på att utvecklarna ska kvantisera Dolly i 4 bitar och snabba upp den för att köras på processorn, samt ett svar från OpenAssistant, som förväntas tillhandahålla deras modell inom de närmaste dagarna.
- NTIA ber om offentliga synpunkter på eventuella regler som reglera AI-system tycka om ChatGPT för att hjälpa Biden-administrationen att se till att de fungerar som utlovat. NTIA släppte ett uttalande om AI-ansvarsreglering, vilket kan förhindra framtida missöden och minimera riskerna från hypotetiska hot.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
