Google introducerade en AI-modell för att illustrera nyhetsartiklar
I korthet
Google tillkännager ny AI-modell för att producera högkvalitativa visuella sammanfattningar av nyhetsartiklar
Google har meddelade en ny artificiell intelligens (AI) modell som den säger automatiskt kan generera "sammanhängande och flytande" visuella sammanfattningar av nyhetsartiklar. Teknikjätten säger att modellen kan bidra till att göra information mer tillgänglig för användare genom att generera "högkvalitativa" visuella sammanfattningar av långa textstycken.
Modellen är baserad på en djupinlärningsalgoritm känd som en transformator, som är utformad för att "förstå" sammanhanget i en mening och sedan generera en illustration som behåller den viktiga informationen från originaltexten.
Google åstadkommer den mycket mer utmanande uppgiften att förstå hela textens övergripande sammanhang, i motsats till den för närvarande populära text-till-bild system, som bygger på en "frontal" skildring av principen "vad jag ser, ritar jag om". Dessutom görs valet av bilder för att skapa en "bild som helhet" snarare än individuella uttalanden och fraser (som praktiskt taget alla gör just nu). Med andra ord väljs bilder för hela artikeln samtidigt som man tar hänsyn till sammanhang och betydelser.
Google säger att modellen kan generera sammanfattningar av flera meningar från en nyhetsartikel och att den har varit det tränas på ett stort dataset NewsStories, som innehåller nästan 31 miljoner artiklar, 22 miljoner fotografier och 1 miljon videor gömda i buskarna.
I det här projektet tar vi oss an en helt ny utmaning: att skapa visuella sammanfattningar, som är längre texter åtföljda av en samling bilder. Genom att bemästra två MIL-underuppgifter (Multiple Instance Learning) är målet att maximera den semantiska likheten mellan varje artikel och ingångsbilderna.
Det första steget är att matcha bilden med hela artikeln efter att den har översatts till rätt representationer med både språk- och bildkodare.
Det andra steget innebär att dela upp en textartikel i separata meningar och koda varje mening till en annan representation. Målet är att optimera den ömsesidiga informationen, defined när det gäller sannolikhetsfördelningar, mellan bild- och textsekvenser. Den största precisionen erhölls som resultat.
Sammanfattningsvis ger denna studie en mängd olika bidrag, från applikationer som automatiserad narrativ illustration till den utmanande uppgiften att matcha en berättelse och en samling illustrationer. Företaget säger att modell kan även appliceras på andra språk och att det arbetar med att utöka datamängden till att inkludera artiklar från andra webbplatser.
Läs fler relaterade artiklar:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
