我们如何评分语音邮件转录质量以及我们削减的内容

介绍

语音邮件转录听起来像是一个已解决的问题。几个大型 ASR 模型可以以接近人类的精度转录干净的录音室音频。问题是语音信箱音频几乎从来都不是干净的。呼叫者通过汽车、走廊、建筑工地和免提电话拨打电话。口音差别很大。专有名词——姓名、公司、地址、产品代码——正是最重要的标记，而模型处理最差的标记。这就是我们的评估工具在模型接触生产流量之前所设计的内容。

为什么仅凭单词错误率还不够

单词错误率 (WER) 是转录质量的标准学术指标。它衡量转录中的单词与参考文献不匹配的比例。使用 WER 作为唯一入口的问题是，错误的代价并不统一。如果成绩单中出现“嗯”和“呃”错误，您无需付出任何代价。回拨号码错误的笔录会让你丢掉工作。

我们运行 WER 作为基线检查，但我们的门控指标是我们所说的实体关键错误率 (ECER)：命名实体（电话号码、地址、个人姓名、公司名称、美元金额）被错误转录的比例。在 WER 上看起来可以接受的模型在 ECER 上可能会严重失败，特别是对于训练分布之外的口音语音和专有名词。

评估数据集

我们的评估集是根据真实的语音邮件音频构建的，并在进入管道之前获得客户同意并完全匿名。我们维护了大约 4,000 个样本，这些样本分层分布在五种噪声环境（安静的室内、汽车、室外环境、背景音乐、扬声器混响）、三个口音集群（一般美国语、南美语、非母语英语）和四种消息类型（预约请求、投诉、回电请求、一般查询）中。

每个样本都有一份经过人工验证的转录本，由两名注释者审查，分歧由第三名注释者解决。注释协议规定，专有名词必须转录为口语，而不是纠正为最可能的预期实体 - 如果呼叫者说“Jonson”，我们会写“Jonson”，而不是“Johnson”。默默规范化专有名词的模型在标准评估集上看起来更好，但在生产中却在最重要的地方失败了。

我们测试什么以及如何测试

• 完整成绩单上的 WER — 基线门，必须在任何其他评估运行之前通过
• 命名实体上的 ECER——门控度量；这里的任何回归都会阻止候选模型
• p95 的延迟 — 转录应在语音邮件结束后 8 秒内完成，以实现实时通知传递
• 噪声下的退化——安静样本和噪声样本之间的 WER 增量；在中等噪声下非线性退化的模型无法通过此门
• 专有名词回忆 - 针对 500 个常见企业名称、街道类型和电话号码模式的列表进行专门测试
• 幻觉率——包含音频中不存在内容的文字记录的比例；至关重要，因为幻觉的回拨号码比没有文字记录更糟糕

我们削减了什么以及为什么

我们在上一个周期评估了四个候选模型。两个在 ECER 门被淘汰——两者在 WER 上都很强，但在非母语口音集群中的专有名词上表现不佳，这代表了我们客户群的很大一部分。其中一个被削减了幻觉率：它产生了自信的、语法正确的文字记录，其中偶尔会包含音频中根本不存在的单词。第四个通过了所有关卡并正在生产中运行。

人在回路安全阀

当成绩单在任何部分的得分低于我们的置信度阈值时，我们会将其标记为供人工审核，而不是使用误导性的置信度指标来提供它。客户会在标记的成绩单上看到“低可信度”徽章。在我们当前的生产模型中，大约 3% 的转录本被标记，其中大约 60% 在交付前通过人工审核进行纠正。另一种选择是在没有信心信号的情况下提供所有成绩单，其支持票率较低，直到客户因为我们的回拨号码错误而失业。

接下来是什么

剩下的差距最大的领域是多方语音邮件中的说话人分类——呼叫者将电话交给同事或合作伙伴以添加额外上下文的消息。当前的模型对此处理不佳，并且对 CRM 日志记录的下游影响很大。我们现在正在对二值化候选者进行单独的评估周期，目标是在第二季度发布改进版本。