Звіт про новини Технологія
26 Червня, 2023.

Google представляє AudioPaLM, потужну мовну модель AI для генерації мовлення

Коротко

AudioPaLM — потужна мовна модель, розроблена компанією Google який поєднує моделі на основі тексту та мовлення для безперебійної обробки мовлення та тексту.

Він зберігає паралінгвістичну інформацію та перевершує існуючі системи в задачах перекладу мовлення.

AudioPaLM може перекладати мови з акцентом і виконувати голосові перекази для перекладу мови в мову.

Google представив мовну модель під назвою AudioPaLM, який поєднує в собі мовні моделі на основі тексту та мовлення для безпроблемної обробки та створення мовлення та тексту. Об'єднавши можливості ПаЛМ-2 та AudioLM, AudioPaLM пропонує уніфіковану мультимодальну архітектуру, яка відкриває широкий спектр додатків, включаючи розпізнавання мовлення та переклад мови в мову.

Google представляє AudioPaLM, потужну мовну модель для генерування мовлення
Кредит: Metaverse Post (mpost.io)

Однією з помітних особливостей AudioPaLM є його здатність зберігати паралінгвістичну інформацію, як-от ідентичність мовця та інтонацію, завдяки впливу AudioLM. У той же час, він використовує лінгвістичні знання, знайдені в текстових мовних моделях, таких як PaLM-2. Завдяки ініціалізації AudioPaLM із вагами великої мовної моделі, що містить лише текст, модель чудово підходить для обробки мовлення, використовуючи переваги обширних даних навчання тексту, які використовуються під час попереднього навчання.

Чудові можливості AudioPaLM були продемонстровані різними експериментами. Він перевершує існуючі системи в задачах перекладу мовлення та демонструє здатність виконувати нульовий удар переклад мови в текст для мов, які не зустрічалися під час навчання.

Крім того, AudioPaLM демонструє особливості аудіомовні моделі шляхом передачі голосів між мовами на основі коротких голосових підказок.

Google зробив приклади можливостей AudioPaLM доступний для дослідження. Здатність моделі перекладати мови з чітким акцентом, наприклад італійську та німецьку, заінтригувала як дослідників, так і користувачів. Крім того, його майстерність у виконанні передачі голосу для перекладу мовлення відрізняє його від існуючих базових показників, що підтверджено як автоматичними показниками, так і оцінювачами.

Модель дуже добре перекладає мову з аудіо на аудіо іншою мовою, зберігаючи голос і емоції людини. Цікаво, що при перекладі одних мов, наприклад італійської та німецької, модель має помітний акцент, а при перекладі інших, наприклад, французької, говорить з ідеальним американським акцентом.

Модель AudioPaLM із прикладами перекладу мови в мову та автоматичного розпізнавання мови.

Докладніше про ШІ:

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

інші статті
Дамір Ялалов
Дамір Ялалов

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Від Ripple до The Big Green DAO: як криптовалютні проекти сприяють благодійності

Давайте розглянемо ініціативи, які використовують потенціал цифрових валют для благодійних цілей.

Дізнайтеся більше

AlphaFold 3, Med-Gemini та інші: як AI трансформує охорону здоров’я у 2024 році

ШІ проявляється різними способами в охороні здоров’я, від виявлення нових генетичних кореляцій до розширення можливостей роботизованих хірургічних систем...

Дізнайтеся більше
Приєднуйтесь до нашої спільноти інноваційних технологій
Детальніше
Читати далі
Криптобіржу Kraken шантажували після звіту про винагороду за помилку, 3 мільйони доларів вилучено з казначейських активів
Звіт про новини Технологія
Криптобіржу Kraken шантажували після звіту про винагороду за помилку, 3 мільйони доларів вилучено з казначейських активів
19 Червня, 2024.
Pendle забезпечує Arbitrum STIP Bridge Grant, планує виділити 1 млн винагород ARB постачальникам ліквідності Arbitrum
ринки Звіт про новини Технологія
Pendle забезпечує Arbitrum STIP Bridge Grant, планує виділити 1 млн винагород ARB постачальникам ліквідності Arbitrum
19 Червня, 2024.
Поєднання блокчейн-мереж: як ERC-7683 прагне трансформувати міжланцюгові свопи та транзакції
Думка ринки Софтвер Технологія
Поєднання блокчейн-мереж: як ERC-7683 прагне трансформувати міжланцюгові свопи та транзакції
19 Червня, 2024.
Lido запускає дострокове впровадження модуля спільного стейкингу для індивідуальних стейкерів перед його загальним випуском
Звіт про новини Технологія
Lido запускає дострокове впровадження модуля спільного стейкингу для індивідуальних стейкерів перед його загальним випуском
19 Червня, 2024.
CRYPTOMERIA LABS PTE. LTD.