Wie wir die Qualität der Voicemail-Transkription bewerten und was wir reduzieren

Einführung

Die Transkription von Voicemails scheint ein gelöstes Problem zu sein. Mehrere große ASR-Modelle können sauberes Studioaudio mit nahezu menschlicher Genauigkeit transkribieren. Das Problem besteht darin, dass der Ton der Voicemail fast nie sauber ist. Anrufer rufen aus Autos, Fluren, Baustellen und Freisprechtelefonen an. Die Akzente variieren stark. Eigennamen – Namen, Firmen, Adressen, Produktcodes – sind genau die Zeichen, die am wichtigsten sind und mit denen Modelle am schlechtesten umgehen. Dies soll mit unserem Evaluierungskabel ans Tageslicht kommen, bevor ein Modell überhaupt in den Produktionsverkehr gelangt.

Warum die Wortfehlerrate allein nicht ausreicht

Die Wortfehlerrate (Word Error Rate, WER) ist die akademische Standardmetrik für die Transkriptionsqualität. Es misst, welcher Anteil der Wörter in einem Transkript nicht mit der Referenz übereinstimmt. Das Problem bei der Verwendung von WER als einzigem Gate besteht darin, dass Fehler nicht immer kostspielig sind. Ein Transkript, das „ähm“ und „äh“ falsch enthält, kostet Sie nichts. Ein Transkript, in dem die Rückrufnummer falsch angegeben ist, kostet Sie den Job.

Wir führen WER als Basisprüfung durch, aber unsere Gating-Metrik ist das, was wir Entity-Critical Error Rate (ECER) nennen: der Anteil der benannten Entitäten – Telefonnummern, Adressen, Personennamen, Firmennamen, Dollarbeträge –, die falsch transkribiert werden. Ein Modell, das auf WER akzeptabel aussieht, kann auf ECER stark versagen, insbesondere bei akzentuierter Sprache und Eigennamen außerhalb der Trainingsverteilung.

Der Evaluierungsdatensatz

Unser Evaluierungsset besteht aus echtem Voicemail-Audio mit Zustimmung des Kunden und vollständiger Anonymisierung, bevor es in die Pipeline gelangt. Wir verwalten etwa 4.000 Proben, die auf fünf Lärmumgebungen (ruhiger Innenbereich, Auto, Außenumgebung, Hintergrundmusik, Nachhall von Lautsprechern), drei Akzentcluster (Allgemeines Amerikanisch, Südamerikanisches, Nicht-Muttersprachliches Englisch) und vier Nachrichtentypen (Terminanfrage, Beschwerde, Rückrufanfrage, allgemeine Anfrage) verteilt sind.

Jede Probe verfügt über ein von Menschen verifiziertes Transkript, das von zwei Kommentatoren überprüft wurde und Meinungsverschiedenheiten von einem dritten gelöst wurden. Das Annotationsprotokoll legt fest, dass Eigennamen so transkribiert werden müssen, wie sie gesprochen werden, und nicht auf die wahrscheinlichste beabsichtigte Entität korrigiert werden müssen – wenn ein Anrufer „Jonson“ sagt, schreiben wir „Jonson“ und nicht „Johnson“. Modelle, die Eigennamen stillschweigend normalisieren, sehen auf Standard-Evaluierungssätzen besser aus und versagen in der Produktion genau dort, wo es am wichtigsten ist.

Was wir testen und wie

• WER im vollständigen Transkript – Baseline-Gate, muss vor allen anderen Bewertungsläufen bestanden werden
• ECER für benannte Entitäten – Gating-Metrik; Jede Regression hier blockiert ein Kandidatenmodell
• Latenz bei p95 – die Transkription sollte innerhalb von 8 Sekunden nach Ende der Voicemail abgeschlossen sein, um eine Benachrichtigung in Echtzeit zuzustellen
• Verschlechterung unter Lärm – WER-Delta zwischen ruhigen und lauten Proben; Modelle, die sich bei mäßigem Rauschen nichtlinear verschlechtern, versagen bei diesem Gatter
• Erinnerung an Eigennamen – speziell getestet anhand einer Liste von 500 gebräuchlichen Firmennamen, Straßentypen und Telefonnummernmustern
• Halluzinationsrate – Anteil der Transkripte, die Inhalte enthalten, die im Audio nicht vorhanden sind; Kritisch, denn eine halluzinierte Rückrufnummer ist schlimmer als keine Abschrift

Was wir schneiden und warum

Im letzten Zyklus haben wir vier Kandidatenmodelle evaluiert. Zwei wurden am ECER-Gate gestrichen – beide waren gut bei WER, schnitten aber bei Eigennamen im nicht-muttersprachlichen Akzentcluster schlecht ab, was einen erheblichen Teil unseres Kundenstamms ausmacht. Bei einem wurde die Halluzinationsrate gekürzt: Es wurden sichere, grammatikalisch korrekte Transkripte erstellt, die gelegentlich Wörter enthielten, die im Audio überhaupt nicht vorkommen. Der vierte hat alle Tore passiert und ist in Produktion.

Das Human-in-the-Loop-Fluchtventil

Wenn ein Transkript in einem Segment unter unserem Vertrauensschwellenwert liegt, kennzeichnen wir es zur menschlichen Überprüfung, anstatt es mit einem irreführenden Vertrauensindikator zu übermitteln. Kunden sehen auf markierten Transkripten das Symbol „Geringes Vertrauen“. In unserem aktuellen Produktionsmodell werden etwa 3 % der Transkripte markiert und davon werden etwa 60 % vor der Zustellung durch eine menschliche Überprüfung korrigiert. Die Alternative – die Zustellung aller Transkripte ohne Vertrauenssignale – führt zu einer niedrigeren Support-Ticket-Rate, bis ein Kunde seinen Job verliert, weil wir eine falsche Rückrufnummer angegeben haben.

Was kommt als nächstes?

Der Bereich mit der größten verbleibenden Lücke ist die Sprecheraufzeichnung bei Mehrparteien-Voicemails – Nachrichten, bei denen ein Anrufer das Telefon einem Kollegen oder Partner übergibt, um zusätzlichen Kontext hinzuzufügen. Aktuelle Modelle bewältigen dies nur unzureichend und die nachgelagerten Auswirkungen auf die CRM-Protokollierung sind erheblich. Wir führen derzeit einen separaten Evaluierungszyklus für Diarisierungskandidaten durch, mit dem Ziel, im zweiten Quartal eine verbesserte Version auszuliefern.