OpenFlamingo: מסגרת חדשה של תמונה לטקסט בקוד פתוח מ-Meta AI ו-LAION
בקיצור
OpenFlamingo היא גרסת קוד פתוח של מודל הפלמינגו של DeepMind, שנבנתה על גבי LLaMA מודל שפה גדול.
מפתחים מקווים ליצור מערכת רב-מודאלית שתוכל להתמודד עם אתגרי שפת חזון ושווים GPT-4החוזק וההסתגלות של הטיפול בקלט חזותי וטקסט.
גרסת הקוד הפתוח של מודל הפלמינגו של DeepMind, פלמינגו פתוח, זה עתה שוחרר. OpenFlamingo היא ביסודה מסגרת המאפשרת הדרכה והערכה של מודלים רב-מודאליים גדולים (LMMs). OpenFlamingo בנוי על גבי LLaMA מודל שפה גדול שפותח על ידי Meta AI.
תרומות המפתחים למהדורה הראשונה הזו הן כדלקמן:
- מערך נתונים רב-מודאלי גדול המשלב טקסט ורצפים חזותיים.
- אמת מידה להערכת למידה בתוך הקשר עבור פעילויות כולל חזון ושפה.
- גרסה ראשונית שלנו LLaMAדגם OpenFlamingo-9B מבוסס.
באמצעות OpenFlamingo, מפתחים מקווים ליצור מערכת רב-מודאלית שיכולה להתמודד עם מגוון אתגרי שפת חזון. המטרה הסופית היא להשתוות GPT-4החוזק וההסתגלות של הטיפול בקלט חזותי וטקסט. מפתחים מפתחים גרסת קוד פתוח של מודל הפלמינגו של DeepMind, LMM המסוגל לעבד ולהגיב על תמונות, סרטונים וטקסט, על מנת להשיג מטרה זו. מפתחים מחויבים לפיתוח מודלים של קוד פתוח לחלוטין, מכיוון שהם חושבים ששקיפות חיונית לקידום שיתוף פעולה, האצת פיתוח ודמוקרטיזציה של גישה ל-LMM מתקדמים.
הם מספקים את המחסום הראשוני של דגם OpenFlamingo-9B שלנו. למרות שהמודל עדיין לא עבר אופטימיזציה לחלוטין, הוא מראה את ההבטחה של הפרויקט. מפתחים יכולים להכשיר LMMs טובים יותר על ידי שיתוף פעולה וקבלת משוב מהקהילה. הם מזמינים את הציבור לתת מידע ולהוסיף למאגר על מנת לקחת חלק בתהליך הפיתוח.
היישום דומה מאוד לזה של פלמינגו. מודלים של פלמינגו חייבים להיות מאומנים על מערכי נתונים אינטרנטיים בקנה מידה גדול עם טקסט משולבים ו גרפיקה לצייד אותם במיומנויות למידה מועטות בתוך הקשר. אותה ארכיטקטורה שהוצעה במחקר הפלמינגו המקורי (מקרי תפיסה מחדש, שכבות צולבות תשומת לב) מיושמת ב-OpenFlamingo. אבל, מכיוון שנתוני האימון של פלמינגו אינם נגישים לציבור הרחב, מפתחים משתמשים במערך נתונים בקוד פתוח כדי להכשיר מודלים. מחסום OpenFlamingo-9B שפורסם לאחרונה הוכשר במיוחד על 10 מיליון דגימות מ-LAION-2B ו-5M דגימות ממערך הנתונים Multimodal C4 החדש.
מפתחים כוללים גם מחסום מ-LMM OpenFlamingo-9B הלא גמור שלנו, המבוסס על LLaMA 7B ו-CLIP ViT/L-14, כחלק מההוצאה. למרות שהמושג הזה עדיין בפיתוח, הקהילה כבר עשויה להפיק ממנו תועלת רבה.
כדי להתחיל, הסתכל על GitHub מקור ו הדגמה.
קרא עוד על AI:
כתב ויתור
בקנה אחד עם הנחיות פרויקט אמון, אנא שים לב שהמידע המסופק בדף זה אינו מיועד ואין לפרש אותו כייעוץ משפטי, מס, השקעות, פיננסי או כל צורה אחרת של ייעוץ. חשוב להשקיע רק את מה שאתה יכול להרשות לעצמך להפסיד ולפנות לייעוץ פיננסי עצמאי אם יש לך ספק. למידע נוסף, אנו מציעים להתייחס לתנאים ולהגבלות וכן לדפי העזרה והתמיכה שסופקו על ידי המנפיק או המפרסם. MetaversePost מחויבת לדיווח מדויק וחסר פניות, אך תנאי השוק עשויים להשתנות ללא הודעה מוקדמת.
על המחבר
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
מאמרים נוספים
דמיר הוא ראש הצוות, מנהל המוצר והעורך ב Metaverse Post, המכסה נושאים כגון AI/ML, AGI, LLMs, Metaverse ו Web3-בתחומים משיקים. המאמרים שלו מושכים קהל עצום של למעלה ממיליון משתמשים מדי חודש. נראה שהוא מומחה עם ניסיון של 10 שנים בקידום אתרים ושיווק דיגיטלי. דמיר הוזכר ב-Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ופרסומים אחרים. הוא נודד בין איחוד האמירויות, טורקיה, רוסיה וחבר העמים כנווד דיגיטלי. דמיר סיים תואר ראשון בפיזיקה, שלדעתו נתן לו את כישורי החשיבה הביקורתית הדרושים כדי להצליח בנוף המשתנה ללא הרף של האינטרנט.
