MusicLM: nowy model AI zamiany tekstu na muzykę i obrazu na muzykę od Google
W skrócie
Google wprowadza MusicLM, model do generowania wysokiej jakości muzyki z opisów tekstowych.
MusicLM może być uwarunkowany zarówno tekstem, jak i melodią, ponieważ może przekształcać gwizdane i nucone melodie zgodnie ze stylem opisanym w podpisie tekstu.
Modelka może generować muzykę w różnych gatunkach, w tym w muzyce klasycznej, jazzie i rocku.
Google wprowadza MusicLM, model do generowania muzyki o wysokiej wierności z opisów tekstowych, takich jak „uspokajająca melodia skrzypiec wspierana przez zniekształcony gitarowy riff”. MusicLM przedstawia proces warunkowego generowania muzyki jako hierarchiczne zadanie modelowania sekwencja po sekwencji i generuje muzykę z częstotliwością 24 kHz, która pozostaje spójna przez kilka minut.
Eksperymenty Google pokazują, że MusicLM przewyższa poprzednie systemy, zarówno pod względem jakości dźwięku, jak i zgodności z opisem tekstowym. Ponadto pokazuje, że MusicLM może być uwarunkowany zarówno tekstem, jak i melodią, ponieważ może przekształcać gwizdane i nucone melodie zgodnie ze stylem opisanym w podpisie tekstu. Aby wspierać przyszłe badania, udostępniamy publicznie MusicCaps, zbiór danych składający się z 5.5 tys. par muzyka-tekst z opisami tekstu sformatowanego dostarczonymi przez ekspertów.
| Podobne artykuły: Text-to-3D: Google opracował sieć neuronową, która generuje modele 3D z opisów tekstowych |
Model MusicLM został wytrenowany na dużym zbiorze partytur muzycznych, co umożliwiło sztucznej inteligencji poznanie struktury muzyki. Modelka może generować muzykę w różnych gatunkach, w tym w muzyce klasycznej, jazzie i rocku. Dodatkowo model AI potrafi tworzyć nowe, oryginalne kompozycje.
Model MusicLM jest ważnym osiągnięciem w dziedzinie muzyki generowanej przez sztuczną inteligencję. Model stanowi znaczny postęp w stosunku do poprzednich modeli, które ograniczały się do krótszych utworów muzycznych lub były w stanie generować tylko proste melodie. Nowy model otwiera możliwość wykorzystania sztucznej inteligencji do generowania długich, złożonych utworów muzycznych, które można wykorzystać w filmach, grach wideo lub innych mediach.
Nowy model AI może generować długą muzykę pokoleń do pięciu minut.
| Podobne artykuły: Stable Diffusion może tworzyć nową muzykę, generując spektrogramy na podstawie tekstu |
Model AI może tworzyć muzykę za pomocą napisów z gier i filmów.
Ponadto model AI może generować muzykę przy użyciu obrazów jako danych wejściowych.
Przeczytaj więcej o sztucznej inteligencji w branży muzycznej:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
