Google wprowadziło model AI do ilustrowania artykułów prasowych
W skrócie
Google ogłasza nowy model sztucznej inteligencji do tworzenia wysokiej jakości wizualnych podsumowań artykułów z wiadomościami
Google ma ogłosił nowy model sztucznej inteligencji (AI), który według niego może automatycznie generować „spójne i płynne” wizualne streszczenia artykułów prasowych. Gigant technologiczny twierdzi, że model może pomóc w zwiększeniu dostępności informacji dla użytkowników generujący „wysokiej jakości” wizualne streszczenia długich fragmentów tekstu.
Model oparty jest na algorytmie głębokiego uczenia zwanym transformatorem, który ma za zadanie „zrozumieć” kontekst zdania, a następnie wygenerować ilustrację, która zachowuje ważne informacje z oryginalnego tekstu.
Google wykonuje znacznie trudniejsze zadanie zrozumienia ogólnego kontekstu całego tekstu, w przeciwieństwie do obecnie popularnych tekst na obraz systemów, które opierają się na „frontalnym” przedstawieniu zasady „co widzę, tym rysuję”. Dodatkowo dobór obrazów ma na celu stworzenie „obrazu jako całości”, a nie pojedynczych wypowiedzi i fraz (jak to obecnie robią praktycznie wszyscy). Innymi słowy, zdjęcia do całego artykułu są wybierane z uwzględnieniem kontekstu i znaczeń.
Google twierdzi, że model może generować streszczenia wielu zdań z artykułu prasowego i że tak było trenowane na dużym zbiorze danych NewsStories, który zawiera prawie 31 milionów artykułów, 22 miliony zdjęć i 1 milion filmów ukrytych w krzakach.
W tym projekcie podejmujemy się zupełnie nowego wyzwania: tworzenia wizualnych podsumowań, czyli dłuższych tekstów, którym towarzyszy kolekcja obrazów. Opanowanie dwóch podzadań MIL (Multiple Instance Learning) ma na celu maksymalizację semantycznego podobieństwa między każdym artykułem a zdjęciami wejściowymi.
Pierwszym krokiem jest dopasowanie obrazu do całego artykułu po przetłumaczeniu go na odpowiednie reprezentacje przy użyciu zarówno języka, jak i koderów obrazu.
Drugi krok obejmuje podzielenie artykułu tekstowego na osobne zdania i zakodowanie każdego zdania w inną reprezentację. Celem jest optymalizacja wzajemnej informacji, defined pod względem rozkładów prawdopodobieństwa między sekwencjami obrazu i tekstu. W rezultacie uzyskano największą precyzję.
Podsumowując, to badanie wnosi różnorodny wkład, od aplikacji, takich jak zautomatyzowana ilustracja narracyjna, po trudne zadanie dopasowania historii i zbioru ilustracji. Firma twierdzi, model może być również zastosowany do innych języków i pracuje nad rozszerzeniem zbioru danych o artykuły z innych witryn.
Przeczytaj więcej powiązanych artykułów:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
