A Guanaco potenciális nyílt forráskódúvá válik ChatGPT Versenyző
Röviden
A Guanaco, a Washingtoni Egyetem kutatói által kifejlesztett nyílt forráskódú chatbot igyekszik felvenni a versenyt ChatGPT miközben kevesebb időt és pénzt igényel a képzés.
Egy új tanulmány azonban megkérdőjelezte az olyan modellek hatékonyságát, mint az Alpaca.
A Washingtoni Egyetem kutatói bemutatták guanakó, egy nyílt forráskódú chatbot, amely a teljesítményével vetekszik ChatGPT miközben jelentősen csökkenti a képzéshez szükséges időt és erőforrásokat. Egy dél-amerikai rokona után nevezték el llamas, Guanaco épül a LLaMA nyelvi modellt, és magában foglalja a QLoRA nevű újszerű finomhangolási módszert.
A Guanaco készítői azt állítják, hogy hasonló teljesítményt ér el ChatGPT de egyetlen nap alatt betanítható. Ezt a figyelemre méltó teljesítményt a QLoRA, egy nyelvi modell finomhangoló technika teszi lehetővé, amely jelentősen csökkenti a képzéshez szükséges GPU-memória mennyiségét. Míg ChatGPT 780 GB GPU memóriát igényel egy 65 milliárd paraméterrel rendelkező modellhez a Guanaco legegyszerűbb verziója mindössze 5 GB-ot igényel.
Ezekkel a lenyűgöző hatékonyságnövekedéssel a Guanaco és a hasonló nyílt forráskódú modellek megkérdőjelezik azt az elképzelést, hogy drága képzésre van szükség a legmodernebb nyelvi modellek. Guanaco megjelenése, alpakaés más modellek hogy a költségek töredékéért edzenek, az olyan költséges modellek jövőjével kapcsolatos spekulációkhoz vezetett, mint például GPT.
Azonban nem mindenki ért egyet a nyílt forráskódú modellek optimista nézetével. A Kaliforniai Egyetem legutóbbi tanulmánya kétségessé tette az olyan modellek képességeiről, mint az alpakák, és kérdéseket vetett fel valódi lehetőségeiket illetően. Kezdetben a kutatók hasonló következtetésre jutottak, mint a Guanaco alkotói: ha megfelelően képzett, a nyílt forráskódú modellek vetekedhetnek. GPT képességekben. A további vizsgálatok jelentős korlátot tártak fel. Ezek a „dolly” modellek, ahogyan néha nevezik őket, ügyesen utánozzák az edzés során felmerült problémák megoldásait. Mindazonáltal küzdenek azért, hogy jól teljesítsenek olyan feladatokban, amelyeknek nem voltak kitéve, lemaradva a fejlettebb modellektől.
Ez a kinyilatkoztatás arra utal, hogy a milliókat fektetett be a képzésbe GPT és a hasonló modellek nem lehettek hiábavalók. Míg a Guanaco és társai ígéretes eredményeket mutatnak, még mindig vannak olyan területek, ahol a kifinomultabb modellek jeleskednek. Érdemes megjegyezni, hogy a a Kaliforniai Egyetem által végzett kutatás megkérdőjelezi azt az uralkodó elképzelést, hogy a nyílt forráskódú modellek teljes mértékben helyettesíthetik a drága modelleket, mint pl GPT.
Ahogy a természetes nyelvi feldolgozás területe fejlődik, érdekes lesz megfigyelni, hogy a Guanaco és más nyílt forráskódú modellek hogyan állnak szemben a bevett benchmarkok, mint pl ChatGPT. Az innováció magas aránya és a folyamatos kutatás kétségtelenül hatással lesz a nyelvi modellek jövőjére, és meghatározza, hogy mely modellek válnak a legmegfelelőbb választásnak az egyes alkalmazásokhoz.
- Dolly 2.0, az első kereskedelmi forgalomban kapható nyílt forráskódú 12B Chat-LLM, bejelentették a Databricks által. Ez jelentős előrelépés a gépi tanulási ágazat számára, lehetővé téve a vállalkozások számára, hogy hatékony nyelvi modelleket hozzanak létre anélkül, hogy költséges GPU-fürtökbe fektetnének be. A Databricks 5,000 alkalmazottat vont be nyílt forráskódú nyelvi modelljének megalkotásába, amely magában foglalta az EleutherAI Pythia-12B nyelvi modelljét MIT licenc alatt. A Dolly 2.0, valamint a hozzá tartozó kód MIT licenc alatt érhető el. A Dolly 2.0 képes megváltoztatni az iparágat, és jelentős előrelépést jelent a gépi tanulás terén.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
