Introduction
La transcription de la messagerie vocale semble être un problème résolu. Plusieurs grands modèles ASR peuvent transcrire un son de studio clair avec une précision quasi humaine. Le problème est que le son de la messagerie vocale n’est presque jamais clair. Les appelants appellent depuis des voitures, des couloirs, des chantiers de construction et des haut-parleurs. Les accents varient considérablement. Les noms propres – noms, entreprises, adresses, codes de produits – sont exactement les jetons qui comptent le plus et ceux que les modèles gèrent le moins. C'est ce que notre harnais d'évaluation est conçu pour faire apparaître avant qu'un modèle n'entre en contact avec le trafic de production.
Pourquoi le taux d’erreurs sur les mots ne suffit pas à lui seul
Le taux d'erreur de mots (WER) est la mesure académique standard pour la qualité de la transcription. Il mesure quelle fraction de mots dans une transcription ne correspond pas à la référence. Le problème avec l’utilisation de WER comme seule porte d’entrée est que les erreurs ne sont pas uniformément coûteuses. Une transcription qui se trompe entre « euh » et « euh » ne vous coûte rien. Une transcription qui contient un mauvais numéro de rappel vous coûte le travail.
Nous effectuons WER comme vérification de base, mais notre métrique de contrôle est ce que nous appelons le taux d'erreur critique d'entité (ECER) : la fraction des entités nommées (numéros de téléphone, adresses, noms personnels, noms d'entreprise, montants en dollars) qui sont transcrites de manière incorrecte. Un modèle qui semble acceptable sur WER peut échouer gravement sur ECER, en particulier pour les discours accentués et les noms propres en dehors de la distribution de formation.
L'ensemble de données d'évaluation
Notre ensemble d'évaluation est construit à partir de véritables messages vocaux audio avec le consentement du client et une anonymisation complète avant qu'ils n'entrent dans le pipeline. Nous conservons environ 4 000 échantillons stratifiés sur cinq environnements sonores (intérieur calme, voiture, ambiance extérieure, musique de fond, réverbération du haut-parleur), trois groupes d'accents (américain général, américain du sud, anglais non natif) et quatre types de messages (demande de rendez-vous, plainte, demande de rappel, demande générale).
Chaque échantillon comporte une transcription vérifiée par des humains qui a été examinée par deux annotateurs et les désaccords ont été résolus par un troisième. Le protocole d'annotation précise que les noms propres doivent être transcrits tels qu'ils sont prononcés, et non corrigés vers l'entité la plus probable. Si un appelant dit « Jonson », nous écrivons « Jonson », pas « Johnson ». Les modèles qui normalisent silencieusement les noms propres ont une meilleure apparence sur les ensembles d'évaluation standard et échouent en production exactement là où cela compte le plus.
Ce que nous testons et comment
- WER sur le relevé de notes complet - porte de base, doit réussir avant toute autre évaluation
- ECER sur les entités nommées – métrique de contrôle ; toute régression ici bloque un modèle candidat
- Latence à p95 — la transcription doit être terminée dans les 8 secondes suivant la fin de la messagerie vocale pour l'envoi de notifications en temps réel
- Dégradation sous bruit — delta WER entre les échantillons calmes et bruyants ; les modèles qui se dégradent de manière non linéaire sous un bruit modéré échouent à cette porte
- Rappel des noms propres - spécifiquement testé sur une liste de 500 noms d'entreprises, types de rues et modèles de numéros de téléphone courants
- Taux d'hallucinations – fraction des transcriptions qui incluent un contenu non présent dans l'audio ; critique car un numéro de rappel halluciné est pire que pas de transcription
Ce que nous avons coupé et pourquoi
Nous avons évalué quatre modèles candidats au cours du dernier cycle. Deux ont été supprimés à la porte ECER : les deux étaient forts sur WER mais ont de mauvais résultats sur les noms propres dans le groupe d'accents non natifs, qui représentent une part importante de notre clientèle. L’un d’entre eux a été réduit en termes de taux d’hallucinations : il a produit des transcriptions confiantes et grammaticalement correctes qui incluaient parfois des mots absents du tout dans l’audio. Le quatrième a franchi toutes les portes et est en production.
La soupape d'échappement humaine dans la boucle
Lorsqu'une transcription obtient un score inférieur à notre seuil de confiance sur n'importe quel segment, nous la signalons pour examen humain plutôt que de la fournir avec un indicateur de confiance trompeur. Les clients voient un badge « faible confiance » sur les relevés de notes signalés. Dans notre modèle de production actuel, environ 3 % des transcriptions sont signalées, et parmi celles-ci, environ 60 % sont corrigées par un examen humain avant leur livraison. L'alternative – fournir toutes les transcriptions sans signaux de confiance – a un taux de ticket d'assistance inférieur jusqu'à ce qu'un client perde son emploi parce que nous nous sommes trompés de numéro de rappel.
Quelle est la prochaine étape
Le domaine où il reste le plus grand écart est celui de la diarisation des locuteurs sur les messages vocaux multipartites – messages dans lesquels un appelant tend le téléphone à un collègue ou un partenaire pour ajouter un contexte supplémentaire. Les modèles actuels gèrent mal cela et l'effet en aval sur la journalisation CRM est significatif. Nous exécutons actuellement un cycle d'évaluation distinct sur les candidats à la diarisation, dans le but de livrer une version améliorée au deuxième trimestre.
Écrit par Parc Daniel · 12 février 2026
Répondre à l'auteur