Microsoft, Devasa Eğitici Görsel Metin Veri Kümesi MIMIC-IT'ye Dayalı Görsel Anlama İçin Çok Modlu Dil Modeli Otter'ı Tanıttı
Kısaca
Otter, OpenFlamingo platformu üzerine kurulmuş, görsel anlayışta devrim yaratmak ve görsel içerikle etkileşim kurmak için tasarlanmış bir görsel dil modelidir (VLM).
Su samuru üzerine inşa edilmiş son teknoloji bir görsel dil modelidir (VLM). AçıkFlamingo platformudur ve görsel içerikle etkileşim şeklimizi geliştirmek için ayarlanmıştır. İddialı Otter projesinin bir parçası olarak, Microsoft tanıttı adı verilen devasa öğretici bir görsel metin veri kümesi MİMİK-IT. Bu veri seti, resimlerden ve videolardan türetilen 2.8 milyon benzersiz talimat da dahil olmak üzere, şaşırtıcı bir şekilde 2.2 milyon çift bağlantılı çok modlu talimat içerir. Görüntü ve video açıklamaları, görüntü karşılaştırmaları, soru yanıtlama, sahne anlama ve daha fazlası gibi senaryoları kapsayan veri seti, doğal diyalogları simüle edecek şekilde titizlikle düzenlendi. Bu yüksek kaliteli talimat-yanıt çiftleri, güçlü ChatGPT-0301 API, yaklaşık 20 bin dolarlık bir yatırımı temsil ediyor.
MIMIC-IT veri seti, görsel sahneleri, akıl yürütmeyi ve mantıksal sonuçları anlamada mükemmel olmak üzere tasarlanmış olan Otter modelinin eğitiminde çok önemli bir rol oynar. Veri kümesindeki her talimat-yanıt çiftine, çok modlu bağlam içi bilgiler eşlik ederek, modeli algılama, akıl yürütme ve planlama nüanslarını kavraması için güçlendiren konuşma bağlamları yaratır. Ek açıklama sürecini ölçeklendirmek için Microsoft, Syphus adlı otomatik bir açıklama ardışık düzeni kullandı; GPT veri setinin kalitesini ve çeşitliliğini sağlamak.
Microsoft, MIMIC-IT veri kümesini kullanarak, OpenFlamingo platformuna dayalı büyük ölçekli bir VLM olan Otter modelini eğitti. Görme dili ölçütleri üzerine kapsamlı değerlendirmeler yoluyla Otter, çok modlu algılama, akıl yürütme ve bağlam içi öğrenmede dikkate değer bir yeterlilik göstermiştir. İnsan değerlendirmeleri, kullanıcının niyetleriyle etkili bir şekilde uyum sağlama yeteneğini ortaya çıkararak, onu doğal dil talimatlarına dayalı olarak karmaşık görevleri yorumlamak ve yürütmek için paha biçilmez bir araç haline getirdi.
Otter v0.2, video girişlerini desteklemek için yeteneklerini genişleterek, işlem çerçeveleri ve bağlam içi örnekler olarak birden çok görüntü.
MIMIC-IT veri setinin, talimat-yanıt toplama boru hattı, kıyaslamalar ve Otter modeliyle birlikte piyasaya sürülmesi, çok modlu dil işleme alanında önemli bir kilometre taşını temsil ediyor. Microsoft, bu kaynakları araştırmacıların ve geliştiricilerin kullanımına sunarak, Otter ve OpenFlamingo'nun popüler yazılımları kullanarak özelleştirilmiş eğitim ve çıkarım boru hatlarına entegrasyonunu sağlayarak inovasyonu ve işbirliğini geliştirmeyi hedefliyor. Sarılma Yüz Transformers çerçevesi.
MIMIC-IT veri seti, çok çeşitli gerçek hayat senaryolarını kapsar ve Vizyon-Dil Modellerini (VLM'ler) genel sahneleri kavramak, bağlam hakkında akıl yürütmek ve gözlemler arasında akıllıca ayrım yapmak için güçlendirir. Bu, "Hey, sence anahtarlarımı masanın üzerinde mi unuttum?"
MIMIC-IT İngilizce dili ile sınırlı değildir. Ayrıca Çince, Korece, Japonca, Almanca, Fransızca, İspanyolca ve Arapça dahil olmak üzere birçok dili destekler. Bu çok dilli destek, daha geniş bir küresel kitlenin yapay zekanın getirdiği kolaylık ve gelişmelerden yararlanmasını sağlar.
Yüksek kaliteli komut-yanıt çiftlerinin üretilmesini sağlamak için, Microsoft sistem mesajlarını, görsel ek açıklamaları ve bağlam içi örnekleri bilgi istemleri olarak içeren otomatik bir boru hattı olan Syphus'u tanıttı. ChatGPT. Bu, birden çok dilde oluşturulan talimat-yanıt çiftlerinin güvenilirliğini ve doğruluğunu sağlar.
AI hakkında daha fazlasını okuyun:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
