음성 메일 전사 품질을 평가하는 방법 및 잘라낸 내용

소개

음성 메일 녹음은 문제가 해결된 것처럼 들립니다. 몇몇 대형 ASR 모델은 깨끗한 스튜디오 오디오를 인간에 가까운 정확도로 기록할 수 있습니다. 문제는 음성 메일 오디오가 거의 깨끗하지 않다는 것입니다. 발신자는 자동차, 복도, 건설 현장, 스피커폰에서 전화를 겁니다. 악센트는 매우 다양합니다. 고유명사(이름, 회사, 주소, 제품 코드)는 정확히 가장 중요한 토큰이고 모델이 가장 나쁘게 처리하는 토큰입니다. 이는 모델이 생산 트래픽에 영향을 미치기 전에 평가용 하네스가 표면에 나타나도록 설계된 것입니다.

단어 오류율만으로는 충분하지 않은 이유

WER(단어 오류율)은 전사 품질에 대한 표준 학술 지표입니다. 성적표에서 참조와 일치하지 않는 단어의 비율을 측정합니다. WER을 유일한 게이트로 사용할 때의 문제점은 오류로 인한 비용이 균일하게 발생하지 않는다는 것입니다. '음'과 '어'가 틀린 성적표에는 비용이 전혀 들지 않습니다. 콜백 번호를 잘못 받은 기록으로 인해 작업 비용이 발생합니다.

우리는 기본 점검으로 WER을 실행하지만 게이팅 측정 기준은 ECER(Entity-Critical Error Rate)이라고 부르는 것입니다. 이름이 지정된 엔터티(전화 번호, 주소, 개인 이름, 회사 이름, 달러 금액) 중 잘못 기록된 부분입니다. WER에서는 수용 가능해 보이는 모델이 ECER에서는 특히 실패할 수 있습니다. 특히 훈련 분포 외부의 악센트가 있는 음성과 고유 명사의 경우 더욱 그렇습니다.

평가 데이터 세트

우리의 평가 세트는 파이프라인에 들어가기 전에 고객 동의와 완전한 익명화를 통해 실제 음성 메일 오디오를 기반으로 구축되었습니다. 우리는 5가지 소음 환경(조용한 실내, 자동차, 실외 환경, 배경 음악, 스피커폰 잔향), 3가지 악센트 클러스터(일반 미국, 남부 미국, 비원어민 영어) 및 4가지 메시지 유형(약속 요청, 불만, 콜백 요청, 일반 문의)에 걸쳐 계층화된 약 4,000개의 샘플을 유지 관리합니다.

각 샘플에는 두 명의 주석자가 검토하고 세 번째 주석자가 의견 차이를 해결한 사람이 확인한 녹취록이 있습니다. 주석 프로토콜은 고유 명사가 의도한 엔터티로 수정되지 않고 음성으로 기록되어야 함을 지정합니다. 발신자가 'Jonson'이라고 말하면 'Johnson'이 아니라 'Jonson'이라고 씁니다. 고유 명사를 자동으로 정규화하는 모델은 표준 평가 세트에서 더 좋아 보이지만 가장 중요한 부분에서는 생산에 실패합니다.

테스트 대상 및 방법

• 전체 성적표에 대한 WER - 기준 게이트는 다른 평가가 실행되기 전에 통과해야 합니다.
• 명명된 엔터티에 대한 ECER — 게이팅 메트릭; 여기서 회귀는 후보 모델을 차단합니다.
• p95의 대기 시간 - 실시간 알림 전달을 위해 음성 메일 종료 후 8초 이내에 녹음이 완료되어야 합니다.
• 소음에 따른 성능 저하 - 조용한 샘플과 시끄러운 샘플 간의 WER 델타; 적당한 소음 하에서 비선형적으로 저하되는 모델은 이 게이트에 실패합니다.
• 고유 명사 회상 — 500개의 일반적인 사업체 이름, 거리 유형 및 전화번호 패턴 목록을 대상으로 특별히 테스트되었습니다.
• 환각 비율 — 오디오에 없는 콘텐츠를 포함하는 녹취록의 비율입니다. 환각에 빠진 콜백 번호는 녹취록이 없는 것보다 더 나쁘기 때문에 매우 중요합니다.

우리가 자르는 것과 그 이유

우리는 마지막 주기에서 4개의 후보 모델을 평가했습니다. 두 개는 ECER 게이트에서 삭제되었습니다. 둘 다 WER에서는 강했지만 고객 기반의 상당 부분을 차지하는 비원어민 악센트 클러스터의 고유 명사에서는 성능이 좋지 않았습니다. 하나는 환각 비율을 줄였습니다. 오디오에 전혀 존재하지 않는 단어를 때때로 포함하는 자신감 있고 문법적으로 올바른 대본을 생성했습니다. 네 번째 제품은 모든 관문을 통과해 생산 중입니다.

인간 개입 루프(Human-In-The-Loop) 탈출 밸브

어떤 세그먼트에서든 성적 증명서가 신뢰도 임계값보다 낮은 점수를 받으면 오해의 소지가 있는 신뢰도 표시기를 제공하는 대신 인적 검토를 위해 플래그를 지정합니다. 고객에게는 플래그가 지정된 성적표에 '신뢰도 낮음' 배지가 표시됩니다. 현재 프로덕션 모델에서는 성적표의 약 3%에 플래그가 지정되어 있으며, 그 중 약 60%는 전달 전에 사람의 검토를 통해 수정됩니다. 신뢰 신호 없이 모든 기록을 전달하는 대안은 콜백 번호가 잘못되어 고객이 실직할 때까지 지원 티켓 비율이 더 낮습니다.

다음은 무엇입니까?

남은 격차가 가장 큰 영역은 다자간 음성 메일의 화자 분할(발신자가 추가 맥락을 추가하기 위해 동료나 파트너에게 전화를 건네주는 메시지)입니다. 현재 모델은 이를 제대로 처리하지 못하며 CRM 로깅에 대한 다운스트림 효과는 상당합니다. 우리는 2분기에 개선된 버전을 출시한다는 목표로 현재 분할 후보에 대해 별도의 평가 주기를 실행하고 있습니다.