Як ми оцінюємо якість транскрипції голосової пошти та що ми скорочуємо

вступ

Транскрипція голосової пошти виглядає як вирішена проблема. Кілька великих моделей ASR можуть транскрибувати чистий студійний звук із точністю, майже людською. Проблема в тому, що звук голосової пошти майже ніколи не буває чистим. Абоненти дзвонять з автомобілів, коридорів, будівельних майданчиків і гучного зв'язку. Акценти дуже різноманітні. Власні іменники — імена, компанії, адреси, коди продуктів — це саме ті токени, які мають найбільше значення, і з якими моделі працюють найгірше. Це те, що наша система безпеки Eval призначена для того, щоб висвітлитися до того, як модель коли-небудь торкнеться серійного трафіку.

Чому одного рівня помилок у словах недостатньо

Рівень помилок у словах (WER) — стандартний академічний показник якості транскрипції. Він визначає, яка частка слів у стенограмі не відповідає посиланню. Проблема використання WER як єдиного шлюзу полягає в тому, що помилки не однаково дорогі. Розшифровка, у якій неправильно написано «гм» ​​і «е-е», нічого не коштує. Розшифровка, яка містить неправильний номер зворотного дзвінка, коштує вам роботи.

Ми запускаємо WER як базову перевірку, але наша метрика стробування — це те, що ми називаємо Entity-Critical Error Rate (ECER): частка названих об’єктів — номери телефонів, адреси, особисті імена, назви компаній, суми в доларах — які транскрибуються неправильно. Модель, яка виглядає прийнятною на WER, може мати серйозні невдачі на ECER, особливо для акцентованого мовлення та власних іменників поза розподілом навчання.

Набір даних eval

Наш набір eval створюється на основі реального аудіо голосової пошти за згодою клієнта та повною анонімністю перед тим, як він надходить у конвеєр. Ми зберігаємо приблизно 4000 зразків, розподілених на п’ять шумових середовищ (тиха кімната, автомобіль, надворі, фонова музика, реверберація гучномовця), три кластери акцентів (загальноамериканська, південноамериканська, нерідна англійська) і чотири типи повідомлень (запит на зустріч, скарга, запит на зворотний дзвінок, загальний запит).

Кожен зразок має стенограму, перевірену людиною, яку переглянули два анотатори, а розбіжності вирішив третій. Протокол анотації вказує, що власні іменники мають транскрибуватися так, як вони вимовляються, а не виправлятися до найімовірнішої передбачуваної сутності — якщо абонент каже «Jonson», ми пишемо «Jonson», а не «Johnson». Моделі, які мовчки нормалізують власні іменники, виглядають краще на стандартних наборах оцінок і зазнають збою саме там, де це найбільш важливо.

Що ми перевіряємо і як

• WER у повній розшифровці — контроль базового рівня, має пройти перед виконанням будь-яких інших оцінок
• ECER для іменованих сутностей — метрика стробування; будь-яка регресія тут блокує модель-кандидат
• Затримка на p95 — транскрипція має завершитися протягом 8 секунд після завершення голосової пошти для доставки сповіщень у реальному часі
• Деградація під шумом — дельта WER між тихими та шумними зразками; моделі, які погіршуються нелінійно під помірним шумом, не витримують цього воріт
• Запам’ятовування власних іменників — спеціально протестовано зі списком із 500 поширених назв компаній, типів вулиць і моделей телефонних номерів
• Частота галюцинацій — частка транскриптів, які включають вміст, якого немає в аудіо; критично, оскільки галюцинований номер зворотного дзвінка гірший, ніж відсутність розшифровки

Що ми ріжемо і чому

У минулому циклі ми оцінили чотири моделі-кандидати. Двох було вилучено на вході ECER — обидва були сильними щодо WER, але погано справлялися з власними іменниками в кластері з нерідним акцентом, який становить значну частку нашої клієнтської бази. Один був урізаний через рівень галюцинацій: він створював впевнені, граматично правильні розшифровки, які іноді включали слова, яких взагалі не було в аудіо. Четвертий пройшов усі ворота та працює у виробництві.

Евакуаційний клапан людини в петлі

Коли транскрипція на будь-якому сегменті отримує нижче нашого порогу достовірності, ми позначаємо її для перевірки людиною, а не надаємо її з оманливим індикатором достовірності. Клієнти бачать позначку «низька довіра» на позначених транскриптах. У нашій поточній моделі виробництва приблизно 3% розшифровок позначаються, і з них близько 60% виправляються за допомогою перевірки персоналом перед доставкою. Альтернатива — доставка всіх розшифровок без сигналів довіри — має нижчу ставку запитів у службу підтримки, аж доки клієнт не втратить роботу через неправильний номер зворотного дзвінка.

Що далі

Область, у якій залишається найбільша прогалина, — це діаризація мовця в багатосторонніх голосових повідомленнях — повідомленнях, у яких абонент передає телефон колезі чи партнеру, щоб додати додатковий контекст. Поточні моделі погано справляються з цим, і вплив на журналювання CRM є значним. Зараз ми проводимо окремий цикл оцінки кандидатів на діаризацію з метою випуску покращеної версії у другому кварталі.