Google представив модель ШІ для ілюстрації новинних статей
Коротко
Google анонсує нову модель ШІ для створення високоякісних візуальних підсумків новинних статей
Google має оголошений нова модель штучного інтелекту (ШІ), яка, за її словами, може автоматично генерувати «послідовні та плавні» візуальні підсумки новинних статей. Технологічний гігант каже, що ця модель може допомогти зробити інформацію доступнішою для користувачів породжує «високоякісні» візуальні резюме довгих фрагментів тексту.
Модель базується на алгоритмі глибокого навчання, відомому як трансформатор, який призначений для «розуміння» контексту речення та створення ілюстрації, яка зберігає важливу інформацію з оригінального тексту.
Google виконує набагато складніше завдання розуміння загального контексту всього тексту, на відміну від нині популярного перетворення тексту в зображення системи, в основі яких лежить «фронтальне» зображення за принципом «що бачу, те й малюю». Крім того, вибір зображень зроблений так, щоб створити «картинку в цілому», а не окремі висловлювання та фрази (як зараз роблять практично всі). Іншими словами, зображення підбираються для всієї статті з урахуванням контексту та значення.
Google каже, що модель може генерувати резюме кількох речень із новинної статті, і це було так навчався на великому наборі даних NewsStories, який містить майже 31 мільйон статей, 22 мільйони фотографій і 1 мільйон відео, захованих у кущах.
У цьому проекті ми беремося за абсолютно новий виклик: створюємо візуальні підсумки, які є довшими текстами, що супроводжуються набором зображень. Опановуючи два підзавдання MIL (багатоекземплярне навчання), мета полягає в тому, щоб максимізувати семантичну подібність між кожною статтею та вхідними фотографіями.
Перший крок полягає в тому, щоб зіставити зображення з цілою статтею після того, як воно було перекладено на належні представлення за допомогою мови та кодувальників зображень.
Другий крок передбачає поділ текстової статті на окремі речення та кодування кожного речення в інше представлення. Метою є оптимізація взаємної інформації, defiв термінах розподілу ймовірностей між послідовностями зображень і тексту. В результаті була отримана найбільша точність.
Підсумовуючи, це дослідження робить різноманітні внески, від додатків, таких як автоматизована наративна ілюстрація, до складного завдання зіставлення історії та колекції ілюстрацій. Компанія каже модель також можна застосовувати до інших мов і що він працює над розширенням набору даних, щоб включити статті з інших сайтів.
Читайте більше пов’язаних статей:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
