Cómo calificamos la calidad de la transcripción del correo de voz y qué recortamos

Introducción

La transcripción del correo de voz parece un problema resuelto. Varios modelos ASR grandes pueden transcribir audio de estudio limpio con una precisión casi humana. El problema es que el audio del correo de voz casi nunca está limpio. Las personas que llaman lo hacen desde automóviles, pasillos, sitios de construcción y teléfonos con altavoz. Los acentos varían ampliamente. Los nombres propios (nombres, empresas, direcciones, códigos de productos) son exactamente los tokens que más importan y los que los modelos manejan peor. Esto es lo que nuestro arnés de evaluación está diseñado para revelar antes de que un modelo llegue al tráfico de producción.

Por qué la tasa de error de palabras por sí sola no es suficiente

La tasa de error de palabras (WER) es la métrica académica estándar para la calidad de la transcripción. Mide qué fracción de palabras de una transcripción no coinciden con la referencia. El problema de utilizar WER como única puerta es que los errores no son uniformemente costosos. Una transcripción que dice "um" y "uh" mal no le cuesta nada. Una transcripción que obtiene el número de devolución de llamada incorrecto le cuesta el trabajo.

Ejecutamos WER como verificación de referencia, pero nuestra métrica de activación es lo que llamamos Tasa de error crítico de entidad (ECER): la fracción de entidades nombradas (números de teléfono, direcciones, nombres personales, nombres de empresas, montos en dólares) que se transcriben incorrectamente. Un modelo que parece aceptable en WER puede fallar gravemente en ECER, particularmente para el habla acentuada y los nombres propios fuera de la distribución de entrenamiento.

El conjunto de datos de evaluación

Nuestro conjunto de evaluación se crea a partir de audio de correo de voz real con el consentimiento del cliente y anonimización total antes de que entre en proceso. Mantenemos aproximadamente 4000 muestras estratificadas en cinco entornos de ruido (interior silencioso, automóvil, ambiente exterior, música de fondo, reverberación del altavoz), tres grupos de acentos (estadounidense general, sudamericano, inglés no nativo) y cuatro tipos de mensajes (solicitud de cita, queja, solicitud de devolución de llamada, consulta general).

Cada muestra tiene una transcripción verificada por humanos que fue revisada por dos anotadores y los desacuerdos fueron resueltos por un tercero. El protocolo de anotación especifica que los nombres propios deben transcribirse como hablados, no corregidos a la entidad prevista más probable; si una persona que llama dice "Jonson", escribimos "Jonson", no "Johnson". Los modelos que normalizan silenciosamente los nombres propios se ven mejor en conjuntos de evaluación estándar y fallan en la producción exactamente donde más importa.

Qué probamos y cómo

• WER en la transcripción completa: punto de referencia, debe aprobarse antes de que se ejecute cualquier otra evaluación
• ECER en entidades nombradas: métrica de activación; cualquier regresión aquí bloquea un modelo candidato
• Latencia en p95: la transcripción debe completarse dentro de los 8 segundos posteriores al final del correo de voz para la entrega de notificaciones en tiempo real
• Degradación bajo ruido: delta de WER entre muestras silenciosas y ruidosas; Los modelos que se degradan de forma no lineal bajo ruido moderado fallan en esta puerta.
• Recuerdo de nombres propios: probado específicamente con una lista de 500 nombres comerciales, tipos de calles y patrones de números de teléfono comunes
• Tasa de alucinaciones: fracción de transcripciones que incluyen contenido no presente en el audio; crítico porque un número de devolución de llamada alucinado es peor que ninguna transcripción

Qué cortamos y por qué

Evaluamos cuatro modelos candidatos en el último ciclo. Dos fueron eliminados en la puerta de ECER; ambos eran buenos en WER pero obtuvieron malos resultados en nombres propios en el grupo de acentos no nativos, lo que representa una parte significativa de nuestra base de clientes. Uno de ellos redujo la tasa de alucinaciones: produjo transcripciones seguras y gramaticalmente correctas que ocasionalmente incluían palabras que no estaban presentes en absoluto en el audio. El cuarto pasó todas las puertas y está en producción.

La válvula de escape humana en el circuito

Cuando una transcripción obtiene una puntuación inferior a nuestro umbral de confianza en cualquier segmento, la marcamos para revisión humana en lugar de entregarla con un indicador de confianza engañoso. Los clientes ven una insignia de "baja confianza" en las transcripciones marcadas. En nuestro modelo de producción actual, aproximadamente el 3 % de las transcripciones están marcadas y, de ellas, alrededor del 60 % se corrigen mediante revisión humana antes de la entrega. La alternativa (entregar todas las transcripciones sin señales de confianza) tiene una tasa de tickets de soporte más baja hasta que un cliente pierde su trabajo porque nos equivocamos en un número de devolución de llamada.

¿Qué sigue?

El área con la mayor brecha restante es la registro del hablante en los mensajes de voz de múltiples partes: mensajes en los que una persona que llama le pasa el teléfono a un colega o socio para agregar contexto adicional. Los modelos actuales manejan esto mal y el efecto posterior en el registro de CRM es significativo. Estamos ejecutando un ciclo de evaluación separado para los candidatos a registro ahora, con el objetivo de enviar una versión mejorada en el segundo trimestre.