منظومة التحليلات

ما الذي يفعله

التحليلات في مشروع مساعد ليست تقريراً إدارياً بل أداة عمل. قيمتها الأولى أنها تخبركم بما يسأل عنه عملاؤكم فعلاً — وهو دائماً يختلف عمّا توقعتموه، بصياغات لم يتنبأ بها أحد.

وقيمتها الثانية أنها تكشف الفجوات: الأسئلة المتكررة التي لا تغطيها مادة. هذه القائمة هي أنفع مخرَج تحليلي على الإطلاق، لأنها تحوّل «كيف نحسّن المساعد» من نقاش إلى قائمة عمل مرتّبة.

والخطأ الشائع أن تُقاس المشاريع بالرقم الخطأ. نسبة الاحتواء سهلة الإبلاغ وسهلة التحسين لأسباب خاطئة، والاعتماد عليها وحدها يدفع نحو قرارات تحسّن اللوحة وتضرّ بالتجربة.

لماذا هو أصعب بلغتين

التحليلات ثنائية اللغة يجب أن تفصل بين اللغتين في كل رقم لا أن تجمعهما. الرقم الموحّد يخفي دائماً أضعف اللغتين تحت أقواهما، وهذا بالضبط ما يمنع اكتشاف المشكلة.

وتجميع الصياغات المختلفة تحدٍّ خاص بالعربية. السؤال الواحد يصل بعشرات الصياغات واللهجات، وإن لم تُجمَّع فستبدو كل واحدة نادرة بينما الموضوع نفسه هو الأكثر تكراراً.

ومقارنة الأداء بين اللغتين ينبغي أن تكون صريحة ودورية. الفجوة بينهما طبيعية في البداية، والخطر هو ألا يلاحظها أحد لأن التقرير يعرض متوسطاً واحداً.

ما الذي تبحث عنه عند تقييمه

أين لا ينبغي الوثوق به وحده

لا ينبغي استخدام التحليلات لتقييم أداء الأفراد. المؤشرات تصف النظام والمواد وأنماط الأسئلة، ومن يتولى الحالات الصعبة سيبدو الأسوأ في أي مقياس رضا بينما هو يفعل أصعب عمل.

ولا ينبغي الاعتماد على مؤشر واحد مهما بدا شاملاً. نسبة الاحتواء وحدها تدفع نحو إخفاء طريق الإنسان؛ ورضا العملاء وحده يُقاس على من ردّ فقط؛ وسرعة الرد وحدها لا تقول شيئاً عن صحته. الثلاثة معاً تصف الحقيقة، وأي واحد منها منفرداً يمكن تحسينه بطرق تضرّ بالبقية.

ولا تُغني التحليلات عن قراءة المحادثات نفسها. الأرقام تخبركم أن شيئاً يحدث؛ والنصوص تخبركم ماذا. نصف ساعة أسبوعياً مع عيّنة حقيقية تكشف عادة أكثر مما تكشفه لوحة كاملة.

كيف يتصل هذا بالكل

من المفيد فهم أن هذه ليست منتجات منفصلة بل مكوّنات تعمل في تسلسل واحد. المحادثة الواحدة قد تمرّ على عدة منها قبل أن تصل كلمة واحدة إلى العميل، وجودة المخرَج النهائي محكومة بأضعف حلقة في السلسلة لا بأقواها.

وهذا يفسّر لماذا لا يكفي أن يكون كل مكوّن جيداً منفرداً. مكوّن دقته خمس وتسعون بالمئة يبدو ممتازاً وحده؛ وثلاثة منها متسلسلة تُنتج نتيجة أقل بكثير مما توحي به الأرقام الثلاثة. ولهذا يُقاس النظام من طرفه لا من مكوّناته، ويُقيَّم المورّد الذي يعرض أرقام مكوّنات منفصلة بحذر.

والفائدة العملية من فهم التسلسل أنها تجعل التشخيص ممكناً. حين يأتي رد خاطئ، السؤال الأول هو أي حلقة أخطأت: هل فُهم السؤال، أم استُرجعت المادة الخاطئة، أم كانت المادة صحيحة والصياغة خاطئة. ثلاث مشكلات مختلفة تماماً بثلاثة علاجات مختلفة، وخلطها يجعل التحسين تخميناً.

والمكوّنات مصمَّمة لتفشل بأمان لا بصمت. المكوّن الذي لا يستطيع إنجاز عمله ينبغي أن يقول ذلك فيتوقف التسلسل ويُعرض بديل، لا أن يمرّر نتيجة رديئة إلى المكوّن التالي الذي سيبني عليها بثقة.

لماذا يُبنى هذا بدل شرائه جاهزاً

السؤال المشروع هنا: لماذا لا يُستخدم مكوّن جاهز من مزوّد عالمي لكل وظيفة؟ والجواب ليس أيديولوجياً بل عملياً، وله ثلاثة أسباب.

الأول هو العربية. أغلب المكوّنات الجاهزة ضُبطت على الإنجليزية أولاً وأُضيفت إليها اللغات الأخرى، وأداؤها العربي مقبول في النص الفصيح وضعيف في اللهجة والجملة المختلطة — وهما ما يستخدمه عملاؤكم فعلاً. الفارق ليس نظرياً ويظهر في أول عشر محادثات حقيقية.

والثاني هو التحكم في السلوك. المكوّن الذي لا تملكون ضبطه لا تستطيعون ضبط حدوده، وحدود ما يُقال هي بالضبط ما تحتاجون إثباته في قطاع منظَّم. القدرة على إضافة فحص على المخرَج، أو تعديل عتبة، أو تفسير سبب سلوك معيّن، تتطلب ملكية المكوّن لا مجرد استدعائه.

والثالث هو مكان البيانات ومسارها. كل مكوّن خارجي يعني خروج محتوى المحادثة إلى طرف ثالث، وهذا سؤال يُطرح في كل مراجعة امتثال في هذه المنطقة. تقليل عدد الأطراف التي تلمس المحتوى ليس تفضيلاً هندسياً بل تبسيط لمسألة ستُسألون عنها.

وليس المقصود أن كل شيء يُبنى من الصفر — ذلك هدر. المقصود أن المكوّنات التي تحدّد جودة التجربة العربية وحدود السلوك ينبغي أن تكون تحت سيطرتكم، وأن يكون ما تبقّى قابلاً للاستبدال دون إعادة بناء النظام.

قياس هذا المكوّن بصدق

قياس مكوّن منفرد أصعب مما يبدو، لأن الرقم بلا سياق لا يعني شيئاً. دقة تسعين بالمئة على أي مقياس تحتاج ثلاثة تفاصيل قبل أن تصبح معلومة: على أي مجموعة اختبار، وبأي لغة، ومقارنة بأي بديل. والرقم الذي يصل بلا هذه الثلاثة هو تسويق.

والمبدأ العملي أن تُقاس المكوّنات على بياناتكم أنتم لا على مجموعات قياسية عامة. المجموعات العامة مفيدة للمقارنة بين الموردين ومضلّلة للتنبؤ بأدائكم، لأن أسئلة عملائكم وصياغاتهم ومستنداتكم لا تشبه أي مجموعة عامة.

وقياس المكوّنات منفصلة عن قياس النظام. كلاهما ضروري ولأسباب مختلفة: قياس النظام من طرفه يخبركم هل يعمل، وقياس المكوّنات يخبركم أين يجب أن تعملوا حين لا يعمل. والاكتفاء بالأول يجعل التحسين تخميناً؛ والاكتفاء بالثاني يجعل الأرقام جميلة والتجربة سيئة.

وأخيراً، أعيدوا القياس دورياً لا مرة واحدة. المواد تتغير، وأسئلة العملاء تتغير، وما كان صحيحاً في الشهر الأول قد لا يبقى كذلك في السادس. القياس الذي يجري مرة عند الإطلاق يقيس لحظة انتهت.