ОпенФламинго: нови оквир слике у текст отвореног кода из Мета АИ и ЛАИОН-а
Укратко
ОпенФламинго је верзија ДеепМиндовог Фламинго модела отвореног кода, изграђена на врху LLaMA велики језички модел.
Програмери се надају да ће створити мултимодални систем који може да се носи са изазовима визијског језика и једнак GPT-4снага и прилагодљивост у руковању визуелним и текстуалним уносом.
Верзија отвореног кода ДеепМиндовог Фламинго модела, ОпенФламинго, управо је пуштен. ОпенФламинго је у основи оквир који дозвољава обуку и процену великих мултимодалних модела (ЛММ). ОпенФламинго је изграђен на врху LLaMA велики језички модел који је развио Мета АИ.
Доприноси програмера овом првом издању су следећи:
- Велики мултимодални скуп података који комбинује текстуалне и визуелне секвенце.
- Мерило за евалуацију учења у контексту за активности укључујући визију и језик.
- Прелиминарна верзија нашег LLaMA-базирани ОпенФламинго-9Б модел.
Кроз ОпенФламинго, програмери се надају да ће створити мултимодални систем који може да се носи са разним изазовима у погледу језика. Крајњи циљ је изједначење GPT-4снага и прилагодљивост у руковању визуелним и текстуалним уносом. Програмери развијају верзију отвореног кода ДеепМиндовог Фламинго модела, ЛММ који је способан да обрађује и размишља о сликама, видео записима и тексту, како би постигли овај циљ. Програмери су посвећени развоју модела потпуно отвореног кода јер сматрају да је транспарентност кључна за промовисање сарадње, убрзање развоја и демократизацију приступа најсавременијим ЛММ-овима.
Они обезбеђују почетну контролну тачку нашег модела ОпенФламинго-9Б. Иако модел још није у потпуности оптимизован, он показује обећање пројекта. Програмери могу да обуче боље ЛММ сарађујући и добијајући повратне информације од заједнице. Они позивају јавност да да свој допринос и дода у репозиторијум како би учествовала у процесу развоја.
Имплементација је веома слична оној код Фламинга. Фламинго модели морају бити обучени за велике веб скупове података са испреплетеним текстом и графика да их опремите вештинама учења у контексту неколико хитаца. Иста архитектура која је предложена у оригиналној Фламинго студији (ресамплери перцеивер, слојеви унакрсне пажње) имплементирана је у ОпенФламинго. Али, пошто Фламингови подаци о обуци нису доступни широј јавности, програмери користе скупове података отвореног кода за обуку модела. Новообјављени ОпенФламинго-9Б контролни пункт је посебно обучен на 10М узорака из ЛАИОН-2Б и 5М узорака из новог скупа података Мултимодал Ц4.
Програмери такође укључују контролни пункт из нашег недовршеног ЛММ ОпенФламинго-9Б, који је заснован на LLaMA 7Б и ЦЛИП ВиТ/Л-14, као део издања. Иако се овај концепт још увек развија, заједница може већ имати велике користи од њега.
За почетак погледајте ГитХуб извор и демо.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
