Google a introduit un modèle d'IA pour illustrer les articles de presse
En bref
Google annonce un nouveau modèle d'IA pour produire des résumés visuels de haute qualité des articles de presse
Google a annoncé un nouveau modèle d'intelligence artificielle (IA) qui, selon lui, peut générer automatiquement des résumés visuels "cohérents et fluides" des articles de presse. Le géant de la technologie affirme que le modèle peut aider à rendre les informations plus accessibles aux utilisateurs en générateur des résumés visuels « de haute qualité » de longs morceaux de texte.
Le modèle est basé sur un algorithme d'apprentissage en profondeur connu sous le nom de transformateur, qui est conçu pour « comprendre » le contexte d'une phrase, puis générer une illustration qui conserve les informations importantes du texte original.
Google accomplit la tâche beaucoup plus difficile de comprendre le contexte global de l'ensemble du texte, contrairement à l'actuel populaire texte à image systèmes, qui reposent sur une représentation « frontale » du principe « ce que je vois, je dessine ». De plus, le choix des images est fait pour créer une "image dans son ensemble" plutôt que des déclarations et des phrases individuelles (comme pratiquement tout le monde le fait en ce moment). En d'autres termes, les images sont choisies pour l'ensemble de l'article en tenant compte des contextes et des significations.
Google affirme que le modèle peut générer des résumés de plusieurs phrases à partir d'un article de presse et qu'il a été formé sur un grand ensemble de données NewsStories, qui contient près de 31 millions d'articles, 22 millions de photographies et 1 million de vidéos cachées dans les buissons.
Dans ce projet, nous relevons un tout nouveau défi : créer des résumés visuels, qui sont des textes plus longs accompagnés d'un ensemble d'images. En maîtrisant deux sous-tâches MIL (Multiple Instance Learning), l'objectif est de maximiser la similarité sémantique entre chaque article et les photos d'entrée.
La première étape consiste à faire correspondre l'image à l'article complet après qu'il a été traduit dans les représentations appropriées en utilisant à la fois les encodeurs de langue et d'image.
La deuxième étape consiste à diviser un article de texte en phrases séparées et à encoder chaque phrase dans une représentation différente. L'objectif est d'optimiser l'information mutuelle, defien termes de distributions de probabilité, entre séquences d'images et séquences de texte. La plus grande précision a ainsi été obtenue.
En conclusion, cette étude apporte une variété de contributions, allant d'applications telles que l'illustration narrative automatisée à la tâche difficile de faire correspondre une histoire et une collection d'illustrations. L'entreprise dit que le modèle peut également être appliqué à d'autres langues et qu'il travaille à élargir l'ensemble de données pour inclure des articles d'autres sites.
Lire plus d'articles connexes:
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
