giriiş
Sesli mesajın transkripsiyonu çözülmüş bir sorun gibi görünüyor. Birçok büyük ASR modeli, temiz stüdyo sesini insana yakın doğrulukta yazıya dökebilir. Sorun, sesli posta sesinin neredeyse hiçbir zaman temiz olmamasıdır. Arayanlar arabalardan, koridorlardan, inşaat alanlarından ve hoparlörlerden ararlar. Aksanlar çok çeşitlidir. Özel isimler (isimler, şirketler, adresler, ürün kodları) tam olarak en önemli ve modellerin en kötü şekilde ele aldığı belirteçlerdir. Değerlendirme donanımımızın, bir model üretim trafiğine girmeden önce ortaya çıkması için tasarlanan şey budur.
Kelime hata oranı neden tek başına yeterli değil?
Kelime Hata Oranı (WER), transkripsiyon kalitesi için standart akademik ölçümdür. Bir transkriptteki kelimelerin ne kadarının referansla eşleşmediğini ölçer. WER'i tek kapınız olarak kullanmanın sorunu, hataların aynı şekilde maliyetli olmamasıdır. 'Ee' ve 'hı' kelimelerini yanlış kullanan bir transkriptin size hiçbir maliyeti yoktur. Geri arama numarasını yanlış alan bir transkript, işinize mal olur.
WER'yi temel bir kontrol olarak çalıştırıyoruz, ancak geçiş ölçütümüz Varlık Açısından Kritik Hata Oranı (ECER) dediğimiz şeydir: yanlış yazılan adlandırılmış varlıkların (telefon numaraları, adresler, kişisel isimler, şirket adları, dolar tutarları) oranı. WER'de kabul edilebilir görünen bir model, özellikle eğitim dağılımı dışındaki aksanlı konuşma ve özel isimler konusunda ECER'de kötü bir şekilde başarısız olabilir.
değerlendirme veri kümesi
Değerlendirme setimiz, müşterinin izniyle ve üretim hattına girmeden önce tam anonimleştirmeyle gerçek sesli mesaj sesinden oluşturulmuştur. Beş gürültü ortamına (sessiz iç mekan, araba, dış mekan ortamı, arka plan müziği, hoparlör yankısı), üç vurgu kümesine (Genel Amerika, Güney Amerika, ana dili İngilizce olmayan) ve dört mesaj türüne (randevu talebi, şikayet, geri arama talebi, genel sorgulama) göre sınıflandırılmış yaklaşık 4.000 örnek tutuyoruz.
Her numunenin, iki açıklayıcı tarafından incelenen, anlaşmazlıkların üçte biri tarafından çözülen, insanlar tarafından doğrulanmış bir transkripti vardır. Ek açıklama protokolü, özel isimlerin söylendiği gibi yazıya geçirilmesi gerektiğini, en muhtemel amaçlanan varlığa göre düzeltilmemesi gerektiğini belirtir - arayan kişi 'Jonson' derse, 'Johnson' değil, 'Jonson' yazarız. Özel isimleri sessizce normalleştiren modeller, standart değerlendirme kümelerinde daha iyi görünür ve tam da en önemli olduğu yerde üretimde başarısız olur.
Neyi ve nasıl test ediyoruz
- Tam transkriptteki WER - temel geçit, diğer değerlendirme çalışmalarından önce geçmelidir
- Adlandırılmış varlıklara ilişkin ECER — geçit ölçüsü; buradaki herhangi bir regresyon aday modeli engeller
- p95'te gecikme — gerçek zamanlı bildirim iletimi için transkripsiyon sesli postanın bitiminden sonraki 8 saniye içinde tamamlanmalıdır
- Gürültü altında bozulma — Sessiz ve gürültülü örnekler arasındaki WER deltası; orta düzeyde gürültü altında doğrusal olmayan bir şekilde bozunan modeller bu kapıyı geçemez
- Özel isim hatırlama - 500 yaygın işletme adı, sokak türü ve telefon numarası düzeninden oluşan bir listeyle özel olarak test edilmiştir
- Halüsinasyon oranı – seste bulunmayan içeriği içeren transkriptlerin oranı; kritik çünkü halüsinasyonlu bir geri arama numarası, transkript olmamasından daha kötü
Neyi kestik ve neden
Son döngüde dört aday modeli değerlendirdik. Bunlardan ikisi ECER kapısında kesildi; her ikisi de WER konusunda güçlüydü ancak müşteri tabanımızın önemli bir bölümünü temsil eden yerel olmayan aksan kümesindeki özel isimlerde kötü performans gösterdi. Bunlardan biri halüsinasyon oranı nedeniyle kesildi: Bazen ses dosyasında hiç bulunmayan kelimeleri içeren kendinden emin, gramer açısından doğru transkriptler üretti. Dördüncüsü tüm kapıları geçti ve üretimde çalışıyor.
Döngüdeki insan kaçış valfi
Bir transkript herhangi bir segmentte güven eşiğimizin altında puan aldığında, onu yanıltıcı bir güven göstergesiyle sunmak yerine, insanlar tarafından incelenmek üzere işaretliyoruz. Müşteriler, işaretlenen transkriptlerde 'düşük güven' rozetini görür. Mevcut üretim modelimizde, transkriptlerin kabaca %3'ü işaretleniyor ve bunların yaklaşık %60'ı teslimattan önce insan incelemesi ile düzeltiliyor. Tüm transkriptlerin güven sinyali olmadan teslim edilmesi olan alternatif, geri arama numarasını yanlış aldığımız için müşteri işini kaybedene kadar daha düşük bir destek bildirimi oranına sahiptir.
Sırada ne var
Geriye kalan en büyük boşluğun olduğu alan, çok taraflı sesli postalarda konuşmacı günlüğü tutmadır; bu, arayanın ek bağlam eklemek için telefonu bir meslektaşına veya ortağına verdiği mesajlardır. Mevcut modeller bu durumu yeterince ele almıyor ve CRM kaydı üzerindeki aşağı yöndeki etki önemli. İkinci çeyrekte geliştirilmiş bir sürümü yayınlama hedefiyle, günlük tutma adayları üzerinde şu anda ayrı bir değerlendirme döngüsü yürütüyoruz.
Yazan: Daniel Parkı · 12 Şubat 2026
Yazara yanıt ver