Як Amazon навчив Alexa говорити ірландською

Подібно до Генрі Хіггінса, вокаліста п’єси Бернарда Шоу «Пігмаліон», Маріус Котеску та Георгій Тенчев нещодавно показали, як їхній учень намагався подолати свої труднощі з артикуляцією.

Двоє дослідників даних, які обидва працюють на Amazon у Європі, навчали Alexa, цифрового помічника компанії. Їхня місія: допомогти Alexa освоїти англійську з ірландським акцентом за допомогою штучного інтелекту та записів носіїв мови.

Під час демонстрації Алекса розповіла про незабутню ніч. «Вечірка минулого вечора була такою божевільною», — протяжно сказала Алекса, використовуючи ірландське слово для розваги. «Ми отримали морозиво по дорозі додому, і ми були раді вийти».

Пан Тенчев похитав головою. Алекса викинула літеру «р» у слові «Вечірка», завдяки чому слово звучало рівно, як тьфу. Він зробив висновок, що він дуже британець.

Технологи є частиною команди в Amazon, яка працює в складній галузі науки про дані, відомої як декодування аудіо. Це складна проблема, яка набула нового значення на тлі хвилі розробок штучного інтелекту, оскільки дослідники вважають, що головоломка мови та технологій може допомогти зробити пристрої, боти та синтезатори мовлення на базі штучного інтелекту більш розмовними, тобто такими, що зможуть зацікавити багатьох регіональні гравці. акценти.

Робота з фонематичним розплутуванням передбачає більше, ніж просто розуміння лексики та граматики. Висота, тембр і акцент мовця часто надають точного значення словам і емоційної ваги. Лінгвісти називають цю функцію мови «дисплеєм», і це те, що машинам було важко освоїти.

Лише в останні роки, завдяки прогресу в області штучного інтелекту, комп’ютерних чіпів та інших пристроїв, дослідники досягли успіху у вирішенні проблеми декодування аудіо, перетворивши згенероване комп’ютером мовлення на щось більш приємне для слуху.

За словами дослідників, така робота може згодом об’єднатися з вибухом «генеративного штучного інтелекту», який є технологією, яка дозволяє чат-ботам генерувати власні відповіді. Чат-боти, такі як ChatGPT і Bard, одного разу можуть працювати виключно на голосових командах користувачів і відповідати усно. Водночас такі голосові помічники, як Alexa та Siri від Apple, стануть більш розмовними, що може відновити інтерес споживачів до технологічного сектора, який, здається, зупинився, вважають аналітики.

Змусити голосових помічників, таких як Alexa, Siri та Google Assistant, розмовляти кількома мовами, було дорогим і трудомістким процесом. Технологічні компанії найняли акторів голосу для запису сотень годин розмови, що допомогло створити штучні голоси для цифрових помічників. Удосконалені системи штучного інтелекту, відомі як «моделі перетворення тексту в мову», оскільки вони перетворюють текст на синтетичне мовлення з природним звучанням, Я тільки починаю спрощувати цей процес.

Технологія «тепер здатна створювати людський голос і синтетичний голос на основі введення тексту різними мовами, діалектами та діалектами», — сказала Маріон Лаборі, головний стратег Deutsche Bank Research.

Amazon відчуває тиск, щоб наздогнати таких конкурентів, як Microsoft і Google, у гонці штучного інтелекту. У квітні Енді Джессі, генеральний директор Amazon, сказав: для аналітиків Уолл-стріт Рохіт Прасад, головний науковий співробітник Amazon Alexa, сказав, що компанія планує зробити Alexa «більш активною та розмовною» за допомогою передового генеративного ШІ. він сказав CNBC У травні він побачив голосового помічника як «миттєво доступний особистий ШІ» з підтримкою голосу.

Ірландська Alexa дебютувала в комерційних цілях у листопаді після дев’яти місяців навчання розуміти ірландський акцент, а потім розмовляти ним.

«Акцент відрізняється від мови», — сказав пан Прасад в інтерв’ю. Техніки штучного інтелекту повинні навчитися виділяти акцент з інших частин мови, таких як інтонація та частота, перш ніж вони зможуть відтворити характеристики місцевих діалектів — наприклад, можливо, «а» більш плоска, а «т» вимовляються сильніше.

За його словами, ці системи мають виявити ці шаблони, «щоб вони могли створити абсолютно новий акцент». “це важко”.

Ще важче спробувати змусити технологію вивчати новий акцент практично самостійно, з іншої звучаючої форми мовлення. Це те, що команда пана Котеску намагалася створити ірландську Alexa. Щоб навчити їх розмовляти ірландською англійською, вони значною мірою покладалися на існуючу мовленнєву модель переважно англійського британського акценту — зі значно меншим вибором американського, канадського та австралійського акцентів.

Команда зіткнулася з різними мовними проблемами англо-ірландської мови. Ірландці, як правило, опускають «h» у «th», вимовляючи літери як «t» або «d», наприклад, завдяки чому «bath» звучить як «bat» або навіть «bad». Ірландська англійська також є ретичною, що означає, що буква «r» вимовляється надмірно. Це означає, що «р» у «вечірці» буде більш виразним, ніж те, що ви можете почути з вуст лондонця. Алексі довелося вивчити й освоїти ці особливості мови.

Ірландська англійська «важка», сказав пан Котеску, який є румуном і був головним дослідником ірландської команди Alexa.

Моделі мовлення, які підтримують вербальні навички Alexa, за останні роки вдосконалилися. У 2020 році дослідники Amazon навчили Alexa Він вільно говорить іспанською Від англомовної моделі.

Пан Котеску та команда бачили діалекти як наступну межу мовленнєвих можливостей Alexa. Вони розробили ірландську Alexa, щоб покладатися більше на штучний інтелект, ніж на акторів, щоб побудувати свою модель мовлення. У результаті ірландська Алекса була навчена на відносно невеликій групі — близько 24 годин запису акторів, які продекламували 2000 промов ірландською англійською.

Спочатку, коли дослідники Amazon представили ірландські записи ірландці Алексі, яка все ще навчалася, сталися деякі дивні речі.

Іноді з відповіді витікали літери та склади. Іноді букви «S» злипаються. Одне-два слова, часом вирішальні, були незбагненно пробурмотені й нерозбірливі. Принаймні в одному випадку жіночий голос Алекси знизився на кілька октав, звучачи більш чоловічо. Гірше того, чоловічий голос звучав виразно по-британськи, така дурниця, від якої в деяких ірландських домівках могли б здивуватися.

«Це великі чорні ящики», — сказав про мовні моделі Тенчев, болгарин і головний науковий співробітник проекту Amazon. «Ви повинні мати багато досвіду, щоб налаштуватися на нього».

Ось що зробили техніки, щоб виправити «партизанську» помилку Alexa. Вони розплутували мовлення, слово за словом, звук (найменший чутний фрагмент слова) за допомогою голосу, щоб точно визначити та точно налаштувати місця, де Alexa прослизає. Потім вони передали ірландській моделі мовлення Alexa більше записаних аудіоданих, щоб виправити словесну помилку.

Результат: “r” повертається в “party”. Але потім «р» зникла.

Тож науковці повторили той самий процес. Нарешті вони зосереджуються на звукі, що містить пропущене «р». Потім вони допрацювали модель так, щоб повернувся звук «р», а «р» не зникло. Алекса нарешті навчилася говорити як Дублін.

Відтоді двоє ірландських лінгвістів — Ейлін Воган, яка викладає в Університеті Лімерика, та Кейт Таллон, докторантка, яка працює в лабораторії фонетики та мовлення Дублінського Трініті-коледжу — дали високі оцінки Alexa щодо ірландського акценту. Вони сказали, що те, як ірландська Алекса наголошує на «р» і пом’якшує «т», зупиняється, а Амазон правильно розставляє акцент.

«Мені це здається справжнім», — сказала пані Таллон.

Дослідники Amazon сказали, що вони задоволені переважно позитивними відгуками. Їхні мовні моделі так швидко розплутували ірландський акцент, що дало їм надію, що акценти можна відтворити деінде.

І писали вони мовою А Січнева наукова робота Про ірландський проект Alexa.