Hur vi bedömer kvaliteten på röstbrevlådans transkription och vad vi klipper

Introduktion

Röstmeddelandetranskription låter som ett löst problem. Flera stora ASR-modeller kan transkribera rent studioljud med nästan mänsklig noggrannhet. Problemet är att röstmeddelandeljudet nästan aldrig är rent. Uppringare ringer från bilar, korridorer, byggarbetsplatser och högtalartelefoner. Accenter varierar kraftigt. Egennamn - namn, företag, adresser, produktkoder - är exakt de symboler som betyder mest och de som modeller hanterar sämst. Detta är vad vår eval-sele är designad för att yttra innan en modell någonsin rör produktionstrafik.

Varför enbart ordfelsfrekvensen inte räcker

Word Error Rate (WER) är det akademiska standardmåttet för transkriptionskvalitet. Den mäter vilken bråkdel av ord i en utskrift som inte matchar referensen. Problemet med att använda WER som din enda gate är att fel inte är lika kostsamma. En utskrift som får "um" och "uh" fel kostar dig ingenting. En utskrift som får återuppringningsnumret fel kostar dig jobbet.

Vi kör WER som en baslinjekontroll, men vårt grindmått är vad vi kallar Entity-Critical Error Rate (ECER): andelen namngivna enheter – telefonnummer, adresser, personliga namn, företagsnamn, dollarbelopp – som transkriberas felaktigt. En modell som ser acceptabel ut på WER kan misslyckas allvarligt på ECER, särskilt för accentuerat tal och egennamn utanför träningsdistributionen.

Eval-datauppsättningen

Vårt eval-set är byggt av äkta röstmeddelandeljud med kundens samtycke och fullständig anonymisering innan den kommer in i pipelinen. Vi har cirka 4 000 prover stratifierade över fem bullermiljöer (tyst inomhus, bil, utomhusmiljö, bakgrundsmusik, högtalartelefonreverb), tre accentkluster (allmänamerikansk, sydamerikansk, icke-infödd engelska) och fyra meddelandetyper (förfrågan om möte, klagomål, begäran om återuppringning, allmän förfrågan).

Varje prov har ett mänskligt verifierat transkript som granskades av två kommentatorer med meningsskiljaktigheter lösta av en tredje. Anteckningsprotokollet specificerar att egennamn måste transkriberas som talade, inte korrigeras till den mest sannolika avsedda enheten - om en uppringare säger 'Jonson' skriver vi 'Jonson', inte 'Johnson'. Modeller som tyst normaliserar egennamn ser bättre ut på standarduppsättningar och misslyckas i produktionen precis där det betyder mest.

Vad vi testar och hur

• WER på fullständig transkription — baslinjeport, måste godkännas innan någon annan utvärdering körs
• ECER på namngivna enheter — gatingmetrisk; någon regression här blockerar en kandidatmodell
• Latens vid p95 – transkriptionen bör slutföras inom 8 sekunder efter att röstmeddelandet avslutats för leverans av aviseringar i realtid
• Försämring under brus — WER-delta mellan tysta och brusiga prover; modeller som försämras icke-linjärt under måttligt brus misslyckas med denna grind
• Återkalla egennamn – specifikt testad mot en lista med 500 vanliga företagsnamn, gatutyper och telefonnummermönster
• Hallucinationsfrekvens — bråkdel av transkriptioner som innehåller innehåll som inte finns i ljudet; kritiskt eftersom ett hallucinerat återuppringningsnummer är värre än ingen utskrift

Vad vi skär och varför

Vi utvärderade fyra kandidatmodeller under den senaste cykeln. Två klipptes vid ECER-porten — båda var starka på WER men presterade dåligt på egennamn i det icke-infödda accentklustret, som representerar en betydande del av vår kundbas. En minskade på hallucinationsfrekvensen: den producerade självsäkra, grammatiskt korrekta avskrifter som ibland inkluderade ord som inte alls fanns i ljudet. Den fjärde passerade alla grindar och är igång i produktion.

Utrymningsventilen för människan i slingan

När ett transkript ligger under vårt konfidensgränsvärde för något segment flaggar vi det för mänsklig granskning istället för att leverera det med en missvisande konfidensindikator. Kunder ser ett "lågt förtroende"-märke på flaggade utskrifter. I vår nuvarande produktionsmodell flaggas ungefär 3 % av transkriptionerna, och av dem korrigeras cirka 60 % genom mänsklig granskning före leverans. Alternativet – att leverera alla utskrifter utan konfidenssignaler – har en lägre supportärendepris ända tills en kund förlorar ett jobb eftersom vi fick ett fel nummer för återuppringning.

Vad är nästa

Området med det största kvarvarande gapet är högtalardiarisering på röstmeddelanden från flera parter – meddelanden där en uppringare lämnar telefonen till en kollega eller partner för att lägga till ytterligare sammanhang. Nuvarande modeller hanterar detta dåligt, och nedströmseffekten på CRM-loggning är betydande. Vi kör nu en separat utvärderingscykel för diariseringskandidater, med målet att leverera en förbättrad version under andra kvartalet.