Come valutiamo la qualità della trascrizione dei messaggi vocali e cosa tagliamo

Introduzione

La trascrizione dei messaggi vocali sembra un problema risolto. Diversi modelli ASR di grandi dimensioni possono trascrivere audio pulito in studio con una precisione quasi umana. Il problema è che l'audio della segreteria telefonica non è quasi mai pulito. I chiamanti chiamano da automobili, corridoi, cantieri e altoparlanti. Gli accenti variano ampiamente. I nomi propri – nomi, aziende, indirizzi, codici prodotto – sono esattamente i token che contano di più e quelli che i modelli gestiscono peggio. Questo è ciò che la nostra imbracatura di valutazione è progettata per far emergere prima che un modello tocchi il traffico di produzione.

Perché il tasso di errore delle parole da solo non è sufficiente

Il tasso di errore di parola (WER) è la metrica accademica standard per la qualità della trascrizione. Misura quale frazione di parole in una trascrizione non corrisponde al riferimento. Il problema con l’utilizzo del WER come unica porta è che gli errori non sono uniformemente costosi. Una trascrizione che contiene "um" e "uh" sbagliati non ti costa nulla. Una trascrizione che sbaglia il numero di richiamata ti costa il lavoro.

Eseguiamo il WER come controllo di base, ma la nostra metrica di controllo è ciò che chiamiamo Entity-Critical Error Rate (ECER): la frazione di entità denominate (numeri di telefono, indirizzi, nomi personali, nomi di società, importi in dollari) che vengono trascritte in modo errato. Un modello che sembra accettabile su WER può fallire gravemente su ECER, in particolare per il discorso accentato e i nomi propri al di fuori della distribuzione della formazione.

Il set di dati di valutazione

Il nostro set di valutazione è costituito da audio di posta vocale reale con il consenso del cliente e l'anonimizzazione completa prima che entri nella pipeline. Manteniamo circa 4.000 campioni stratificati in cinque ambienti acustici (interno silenzioso, automobile, ambiente esterno, musica di sottofondo, riverbero dell'altoparlante), tre gruppi di accenti (americano generale, americano del sud, inglese non nativo) e quattro tipi di messaggi (richiesta di appuntamento, reclamo, richiesta di richiamata, richiesta generale).

Ogni campione ha una trascrizione verificata dall'uomo che è stata rivista da due annotatori e i disaccordi risolti da un terzo. Il protocollo di annotazione specifica che i nomi propri devono essere trascritti come pronunciati, non corretti nell'entità più probabile prevista: se un chiamante dice "Jonson" scriviamo "Jonson", non "Johnson". I modelli che normalizzano silenziosamente i nomi propri hanno un aspetto migliore sui set di valutazione standard e falliscono nella produzione esattamente dove conta di più.

Cosa testiamo e come

• WER sulla trascrizione completa: gate di base, deve passare prima di qualsiasi altra valutazione
• ECER sulle entità denominate: metrica di controllo; qualsiasi regressione qui blocca un modello candidato
• Latenza a p95: la trascrizione dovrebbe essere completata entro 8 secondi dalla fine del messaggio vocale per l'invio delle notifiche in tempo reale
• Degradazione sotto rumore: delta WER tra campioni silenziosi e rumorosi; i modelli che si degradano in modo non lineare in condizioni di rumore moderato falliscono questo cancello
• Ricordo dei nomi propri: testato specificamente rispetto a un elenco di 500 nomi di aziende, tipi di strade e modelli di numeri di telefono comuni
• Tasso di allucinazioni: frazione di trascrizioni che includono contenuti non presenti nell'audio; fondamentale perché un numero richiamato da un'allucinazione è peggio di nessuna trascrizione

Cosa tagliamo e perché

Abbiamo valutato quattro modelli candidati nell'ultimo ciclo. Due sono stati tagliati al gate ECER: entrambi erano forti sul WER ma avevano prestazioni scarse sui nomi propri nel gruppo degli accenti non nativi, che rappresenta una quota significativa della nostra base di clienti. Uno è stato ridotto sul tasso di allucinazioni: produceva trascrizioni sicure e grammaticalmente corrette che occasionalmente includevano parole non presenti nell'audio. Il quarto ha superato tutti i cancelli ed è in produzione.

La valvola di fuga “human-in-the-loop”.

Quando una trascrizione ottiene un punteggio inferiore alla nostra soglia di confidenza su qualsiasi segmento, la contrassegniamo per la revisione umana anziché fornirla con un indicatore di confidenza fuorviante. I clienti vedono un badge di "scarsa fiducia" sulle trascrizioni contrassegnate. Nel nostro attuale modello di produzione, circa il 3% delle trascrizioni viene contrassegnato e, di queste, circa il 60% viene corretto mediante revisione umana prima della consegna. L'alternativa, ovvero fornire tutte le trascrizioni senza segnali di fiducia, prevede una tariffa di ticket di supporto inferiore fino a quando un cliente perde il lavoro perché abbiamo sbagliato un numero di richiamata.

Qual è il prossimo passo?

L’area con il maggiore divario rimanente è la diarizzazione degli oratori nei messaggi vocali con più partecipanti, messaggi in cui un chiamante passa il telefono a un collega o partner per aggiungere ulteriore contesto. I modelli attuali gestiscono questo problema in modo inadeguato e l’effetto a valle sulla registrazione CRM è significativo. Attualmente stiamo eseguendo un ciclo di valutazione separato sui candidati alla diarizzazione, con l'obiettivo di fornire una versione migliorata nel secondo trimestre.