Алибаба представља Квен-7Б језички модел отвореног кода
Алибаба је представила свој модел великог језика отвореног кода (ЛЛМ) под називом Квен-7Б, обележавајући њихов инаугурациони улазак у област јавно доступних ЛЛМ. Овај модел је изграђен на 7 милијарди параметара.
За контекст, Квен-7Б је прошао обуку користећи 2.2 трилиона токена. Величина контекста постављена током ове фазе обуке била је 2048, док корисници то могу проширити на највише 8192 током тестирања. Поређења, Llama-2, још један ЛЛМ, нуди контекст величине 4096.
Мерила су неопходна за мерење перформанси таквих модела, а у овом домену, кинески програмери тврде да је Квен-7Б надмашио Llama-2. Једна метрика која се истиче је бенчмарк кодирања Хуман-Евал, где Квен-7Б постиже 24.4 у односу на Llama-2 је 12.8. Међутим, паметно је гледати ове бројке са дозом опреза. Нека мерила показују да Квен-7Б надмашује не само основни модел LLama-2-7Б али и LLaMA-2-13Б варијанта. Међутим, када се супротстави префињеним верзијама Llama-2, маргина разлике постаје ужа. Треба напоменути да тачна методологија обуке Квен-7Б није експлицитно детаљно описана од стране његових програмера.
У функционалности паралелно са LLaMa2-цхат, Квен је представио верзију усредсређену на ћаскање под називом Квен-7Б-Цхат. Овај модел је оптимизован за интеракцију са корисницима и укључује различите алате и АПИ-ови како би се побољшала његова одзивност.
Они који су склони техничким специфичностима би били заинтересовани да знају да архитектонска основа Квен-7Б личи на LLaMA. Међутим, постоје различите карактеристике које разликују Квен-7Б:
- Користи невезано уграђивање.
- Користи се ротационо позиционо уграђивање.
- Пристрасности су искључене, са изузетком ККВ у пажњи.
- РМСНорм је фаворизован у односу на ЛаиерНорм.
- Уместо стандардног РеЛУ, уграђен је СвиГЛУ.
- Фласх пажња је уведена да би се убрзао процес обуке.
- Модел се састоји од 32 слоја, има димензију уградње од 4096 и може да прими 32 главе пажње.
Што се тиче лиценцирања, Квен-7Б је усклађен са Llama-2. Дозвољава комерцијалну употребу, али са одредбом о количини корисника. Док Llama-2 поставља ово ограничење на 700 милиона активних корисника месечно, Квен-7Б-ов праг је 100 милиона.
Они који траже дубинско испитивање могу се обратити техничком извештају који је доступан на ГитХуб-у. Поред тога, демонстрација Квен-7Б, на кинеском језику, доступан је онима који су заинтересовани за практично истраживање могућности модела.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
