Az új DeepSeek V4.1-Flash kihívást jelent a nagyobb mesterséges intelligenciarendszerek számára a kódolás és az ügynöki feladatok terén
Kínai mesterséges intelligencia startup DeepSeek felszabaduló DeepSeek-V4.1-Flash, egy új architektúracsalád legkisebb modelljeként írva le. A bevezetésre akkor kerül sor, amikor a vállalat állítólag a sanghaji technológiára fókuszáló STAR piacon történő első nyilvános ajánlattételre készül.
A multimodális modell 552 milliárd paraméterből álló, szakértőkből álló gerinchálózattal rendelkezik, és akár egymillió tokenből álló kontextusokat is támogat. Fő előnye a hatékonyság, nem pedig a puszta méret. A DeepSeek kauzális kódoló-dekódoló architektúrája 40 átalakító réteget oszt különálló, 20 rétegű kódolási és dekódolási szakaszokra. Ennek eredményeként minden bemeneti tokenhez csak nyolcmilliárd, minden generált tokenhez pedig 16 milliárd paraméter aktiválódik.
Az architektúrát nagy bemeneti igényű ágensi feladatokhoz tervezték, ahol a nagy dokumentumok, kódbázisok vagy beszélgetési előzmények feldolgozása uralhatja a számítási költségeket. A DeepSeek szerint az SWA Bounded Replay módszerének köszönhetően nincs szükség a kiválasztott figyelmi állapotok szilárdtestalapú tárolón való megőrzésére, így a KV-gyorsítótár perzisztens méretét a DeepSeek-V4-Flash méretének körülbelül nyolcadára csökkenti.
Egy kapcsolódó Compressed Sparse Attention 2 rendszer statikus figyelmi módokat rendel a rétegek között, és újrafelhasználja a kiválasztott figyelmi indexeket. Az FP4 formátumú kulcs-érték gyorsítótárazással kombinálva a globális KV-gyorsítótár-igényt tokenenként 890 bájtra csökkenti, ami az előző Flash modell körülbelül negyede. A modell feltételes memóriát és spekulatív dekódolást is tartalmaz, miközben MoE rétegenként egy megosztott és 384 irányított szakértőt használ.
Versenyképes eredmények az érvelés, a kódolás és az ágensek között
A DeepSeek a V4.1-Flash-t a nulláról 45 billió multimodális tokenen képezte ki, beleértve a natívan feldolgozott képeket a szöveggel együtt az előtanítás kezdetétől fogva. A ritka figyelem betanítása 64 000 tokennel kezdődött, mielőtt a kontextus hosszát egymillióra bővítették a 34 billió tokenes szakaszban. Az utótanítás felügyelt finomhangolást, megerősítéses tanulást és szabályalapú desztillációt kombinált, az érvelési erőfeszítés egytől 100-ig terjedő skálán konfigurálható volt.
A benchmarkok erős teljesítményt mutatnak a sokkal nagyobb modellekhez képest. Az alapverzió 74.1 pontot ért el az MMLU-Pro-n, 79.4-et a HumanEval-on és 93.0-at a GSM8K-n, szemben a DeepSeek-V4-Pro-Base 73.5, 76.8 és 92.6-os eredményeivel. Maximális gondolkodási erőfeszítés mellett a V4.1-Flash 90.6 pontot ért el a Terminal-Bench 2.1-en és 74.2-t a DeepSWE v1.1-en, amivel kissé megelőzte a vezető Opus és ... GPT modelleket ezeken az ügynöki benchmarkokon. Emellett 3,471 Codeforces értékelést ért el, és megegyezett a MathArena Apex legjobb listáján szereplő eredménnyel.
Az eredmények nem egyöntetűen dominánsak. A V4.1-Flash a GPQA Diamond, a Humanity's Last Exam és a SimpleQA teszteken a legnagyobb összehasonlítási modellek mögött maradt. Az újabb Terminal-Bench 3.0 és 4.0 teszteken elért eredményei szintén elmaradtak az Opus-5.0-tól, annak ellenére, hogy jelentős javulást mutat a korábbi DeepSeek modellekhez képest.
A multimodális teljesítmény a következőket tartalmazta: 56.5 az MMMU-Pro-n, 77.9 a CVBench-en és 95.6 a DocVQA-n. Engedélyezett ágenseszközökkel a modell 78.9 pontot ért el a Chartography-n és 89.6-ot a BabyVision-ön.
Jogi nyilatkozat
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Alisa, a The MPost, kriptovalutákra, mesterséges intelligenciára, befektetésekre és a világ kiterjedt területére specializálódott Web3. Élénk szemmel figyeli a feltörekvő trendeket és technológiákat, ezért átfogó tájékoztatást nyújt, hogy tájékoztassa és bevonja olvasóit a digitális pénzügyek folyamatosan fejlődő világába.
További cikkek
Alisa, a The MPost, kriptovalutákra, mesterséges intelligenciára, befektetésekre és a világ kiterjedt területére specializálódott Web3. Élénk szemmel figyeli a feltörekvő trendeket és technológiákat, ezért átfogó tájékoztatást nyújt, hogy tájékoztassa és bevonja olvasóit a digitális pénzügyek folyamatosan fejlődő világába.
