كيف نسجل جودة نسخ البريد الصوتي وما نقطعه

مقدمة

يبدو نسخ البريد الصوتي وكأنه مشكلة تم حلها. يمكن للعديد من نماذج ASR الكبيرة نسخ صوت الاستوديو النظيف بدقة تقترب من دقة الإنسان. المشكلة هي أن صوت البريد الصوتي لا يكون نظيفًا على الإطلاق. يتصل المتصلون من السيارات والممرات ومواقع البناء ومكبرات الصوت. لهجات تختلف على نطاق واسع. الأسماء الصحيحة - الأسماء والشركات والعناوين ورموز المنتجات - هي بالضبط الرموز المميزة الأكثر أهمية والتي تتعامل معها النماذج بشكل أسوأ. هذا هو ما تم تصميم أداة التقييم الخاصة بنا لإظهاره قبل أن يصل النموذج إلى حركة الإنتاج.

لماذا معدل الخطأ في الكلمات وحده لا يكفي

معدل خطأ الكلمات (WER) هو المقياس الأكاديمي القياسي لجودة النسخ. إنه يقيس جزء الكلمات الموجودة في النص الذي لا يتطابق مع المرجع. المشكلة في استخدام WER كبوابتك الوحيدة هي أن الأخطاء ليست مكلفة بشكل موحد. النص الذي يحتوي على "um" و"uh" بشكل خاطئ لا يكلفك شيئًا. إن النص الذي يحتوي على رقم رد الاتصال بشكل خاطئ يكلفك الوظيفة.

نحن نقوم بتشغيل WER كفحص أساسي، ولكن مقياس البوابات الخاص بنا هو ما نسميه معدل الخطأ الفادح للكيان (ECER): جزء من الكيانات المسماة - أرقام الهواتف والعناوين والأسماء الشخصية وأسماء الشركات والمبالغ بالدولار - التي تم نسخها بشكل غير صحيح. النموذج الذي يبدو مقبولاً في WER يمكن أن يفشل بشدة في ECER، خاصة بالنسبة للكلام المشدد وأسماء العلم خارج توزيع التدريب.

مجموعة بيانات التقييم

تم إنشاء مجموعة التقييم الخاصة بنا من صوت البريد الصوتي الحقيقي بموافقة العميل وإخفاء الهوية بالكامل قبل دخولها إلى المسار. نحتفظ بما يقرب من 4000 عينة مقسمة إلى خمس بيئات ضجيج (داخلي هادئ، محيط السيارة، محيط خارجي، موسيقى خلفية، تردد مكبر الصوت)، ثلاث مجموعات لهجات (أمريكا العامة، أمريكا الجنوبية، الإنجليزية غير الأصلية)، وأربعة أنواع من الرسائل (طلب موعد، شكوى، طلب رد اتصال، استفسار عام).

تحتوي كل عينة على نسخة تم التحقق منها بواسطة الإنسان والتي تمت مراجعتها من قبل اثنين من المعلقين مع حل الخلافات بواسطة الثلث. يحدد بروتوكول التعليقات التوضيحية أنه يجب نسخ أسماء الأعلام كما هي منطوقة، وليس تصحيحها إلى الكيان المقصود على الأرجح - إذا قال المتصل "Jonson" فإننا نكتب "Jonson" وليس "Johnson". النماذج التي تعمل على تطبيع أسماء العلم بصمت تبدو أفضل في مجموعات التقييم القياسية وتفشل في الإنتاج في المكان الأكثر أهمية بالضبط.

ما نختبره وكيف

• يجب أن يتم اجتياز WER في النسخة الكاملة - البوابة الأساسية، قبل إجراء أي تقييم آخر
• ECER على الكيانات المسماة - مقياس البوابات؛ أي تراجع هنا يمنع النموذج المرشح
• زمن الوصول عند p95 - يجب أن يكتمل النسخ خلال 8 ثوانٍ من انتهاء البريد الصوتي لتسليم الإشعارات في الوقت الفعلي
• التدهور تحت الضوضاء - دلتا WER بين العينات الهادئة والصاخبة؛ النماذج التي تتحلل بشكل غير خطي في ظل الضوضاء المعتدلة تفشل في هذه البوابة
• استدعاء اسم العلم - تم اختباره خصيصًا مقابل قائمة تضم 500 اسم تجاري شائع، وأنواع الشوارع، وأنماط أرقام الهواتف
• معدل الهلوسة — جزء من النصوص التي تتضمن محتوى غير موجود في الصوت؛ أمر بالغ الأهمية لأن رقم رد الاتصال المهووس أسوأ من عدم وجود نص

ماذا نقطع ولماذا

قمنا بتقييم أربعة نماذج مرشحة في الدورة الأخيرة. تم قطع اثنين عند بوابة ECER - كلاهما كانا قويين في WER لكن أداؤهما كان سيئًا في أسماء الأعلام في مجموعة اللهجات غير الأصلية، والتي تمثل حصة كبيرة من قاعدة عملائنا. تم تخفيض معدل الهلوسة في أحدهما: فقد أنتج نصوصًا موثوقة وصحيحة نحويًا والتي تضمنت أحيانًا كلمات غير موجودة في الصوت على الإطلاق. الرابع اجتاز جميع البوابات وهو قيد الإنتاج.

صمام الهروب البشري في الحلقة

عندما تكون نتيجة النص أقل من عتبة الثقة لدينا في أي مقطع، فإننا نضع علامة عليه للمراجعة البشرية بدلاً من تسليمه بمؤشر ثقة مضلل. يرى العملاء شارة "ثقة منخفضة" على النصوص التي تم وضع علامة عليها. في نموذج الإنتاج الحالي لدينا، يتم وضع علامة على ما يقرب من 3% من النصوص، ويتم تصحيح حوالي 60% منها عن طريق المراجعة البشرية قبل التسليم. البديل - تسليم جميع النصوص دون إشارات الثقة - لديه معدل تذكرة دعم أقل حتى يفقد العميل وظيفته لأننا أخطأنا في رقم رد الاتصال.

ما هو التالي

المنطقة التي بها أكبر فجوة متبقية هي مذكرات المتحدث في رسائل البريد الصوتي متعددة الأطراف - وهي رسائل يقوم فيها المتصل بتسليم الهاتف إلى زميل أو شريك لإضافة سياق إضافي. تتعامل النماذج الحالية مع هذا بشكل سيئ، ويكون التأثير النهائي على تسجيل CRM كبيرًا. نحن نجري الآن دورة تقييم منفصلة لمرشحي اليوميات، بهدف شحن نسخة محسنة في الربع الثاني.