Генеральний директор Hugging Face прогнозує, що менші моделі ШІ будуть домінувати у 2024 році
Коротко
У 2024 році ми побачимо зростання моделей невеликих мов, оскільки компанії розсунуть межі ефективності, економічності та доступності.
для штучний інтелект2024 рік готується ознаменувати важливий переломний момент — з появою малих мовних моделей (SLM), оскільки компанії розширюють межі ефективності, економічності та доступності.
Шлях від домінування масивних великих мовних моделей (LLM) до появи компактних потужних SLM обіцяє змінити форму AI пейзаж.
Ця претензія знайшла свою підтримку у Клама Деланге, співзасновника та генерального директора Обіймати обличчя.
«Phi-2 від Microsoft AI тепер є популярною моделлю номер один на Hugging Face. 2024 рік стане роком маленьких моделей ШІ!» сказав Деланг, в а Повідомлення LinkedIn.
Крім того, на початку грудня французький стартап зі штучним інтелектом Mistral незабаром після цього зібрав значну суму $ 415 мільйонів раунд фінансування представив Mixtral 8x7B, SLM з відкритим кодом, який швидко набув популярності завдяки своїй здатності конкурувати з якістю GPT-3.5 за певними тестами, і все під час роботи на одному комп’ютері зі скромними 100 гігабайтами оперативної пам’яті.
Підхід Mistral, який називається моделлю «розрідженої суміші експертів», поєднує менші моделі, навчені для конкретних завдань, досягаючи надзвичайної ефективності.
Щоб не відзначитися, технічний гігант Microsoft вийшов на арену з Phi-2, останньою версією свого домашнього SLM. Примітно крихітний із лише 2.7 мільярдами параметрів, Phi-2 розроблений для роботи на мобільному телефоні, демонструючи прихильність галузі зменшувати моделі без шкоди для можливостей.
Моделі подобаються GPT-3, який може похвалитися приголомшливими 175 мільярдами параметрів, продемонстрував здатність генерувати людський текст, відповідати на запитання та підсумовувати документи. Проте властиві недоліки LLM, включаючи проблеми, пов’язані з ефективністю, вартістю та можливістю налаштування, проклали шлях до зростання SLM.
Фактори, що стимулюють розвиток маломасштабної мовної моделі
SLM можуть похвалитися спрощеним підходом із меншою кількістю параметрів, що забезпечує високу швидкість висновку та вищу пропускну здатність. Зменшені вимоги до пам’яті та зберігання роблять обчислювальні процеси гнучкими, кидаючи виклик загальноприйнятій думці про те, що ємність моделі завжди має відповідати зростанню потреби в даних.
Хоча великі мовні моделі подобаються GPT-3 нести непомірні витрати – часто в десятки мільйонів доларів на розвиток – SLM є економічно ефективною альтернативою.
Ці моделі можна навчати, розгортати та використовувати на доступному апаратному забезпеченні, що робить їх фінансово вигідним вибором для компаній. Крім того, їхні скромні вимоги до ресурсів роблять їх ідеальними кандидатами для додатків у периферійних обчисленнях, які працюють в автономному режимі на пристроях із меншою потужністю.
Подібним чином, ключова перевага SLM полягає в їх настроюваності. На відміну від своїх більших аналогів, які представляють компроміс між доменами, SLM можна точно налаштувати для конкретних програм. Їхні швидкі ітераційні цикли полегшують практичні експерименти, дозволяючи розробникам адаптувати моделі до конкретних потреб.
З наближенням до 2024 року зростання малих мовних моделей свідчить про трансформаційну еру штучного інтелекту. Сцена готова до Року малих моделей штучного інтелекту, де інновації та доступність сходяться до новогоdefine можливості штучного інтелекту.
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Кумар є досвідченим технічним журналістом, який спеціалізується на динамічному перетині ШІ/ML, маркетингових технологій і нових галузей, таких як криптовалюта, блокчейн і NFTс. Завдяки більш ніж 3-річному досвіду роботи в галузі Кумар має досвід створення переконливих оповідей, проведення проникливих інтерв’ю та надання вичерпної інформації. Досвід Кумара полягає у створенні вражаючого контенту, зокрема статей, звітів і дослідницьких публікацій для відомих галузевих платформ. Володіючи унікальним набором навичок, який поєднує в собі технічні знання та розповідь, Кумар чудово вміє доносити складні технологічні концепції до різноманітної аудиторії в чіткій та привабливій формі.
інші статті
Кумар є досвідченим технічним журналістом, який спеціалізується на динамічному перетині ШІ/ML, маркетингових технологій і нових галузей, таких як криптовалюта, блокчейн і NFTс. Завдяки більш ніж 3-річному досвіду роботи в галузі Кумар має досвід створення переконливих оповідей, проведення проникливих інтерв’ю та надання вичерпної інформації. Досвід Кумара полягає у створенні вражаючого контенту, зокрема статей, звітів і дослідницьких публікацій для відомих галузевих платформ. Володіючи унікальним набором навичок, який поєднує в собі технічні знання та розповідь, Кумар чудово вміє доносити складні технологічні концепції до різноманітної аудиторії в чіткій та привабливій формі.
