الاسترجاع والبيانات

كيف تدرّب روبوت دردشة ذكيًا على بياناتك أنت

من يقول «درّبه على بياناتنا» لا يريد تدريبًا في الغالب. يريد أن يجيب المساعد من وثائقه وأن يكون مصيبًا. وهاتان مسألتان هندسيتان مختلفتان، وواحدة منهما هي التي تُحلّ.

١٣ دقيقة قراءة ٢٧ يونيو ٢٠٢٦

العبارة راسخة إلى حدّ يجعل الاعتراض عليها يبدو تنطّعًا، لكن التمييز مهمّ تجاريًا. «درّب الروبوت على بياناتنا» تصف نتيجة — أن يجيب المساعد بدقّة من مادّتنا — وتفترض ضمنًا طريقةً هي الخاطئة عادةً. واختيار الطريقة بالاسم بدل النتيجة هو كيف تصبح المشاريع مكلفة وغير دقيقة في آن.

هذا المقال عن الآليات: ما الخيارات فعلًا، وماذا يحدث للوثيقة بين رفعها واقتباسها لعميل، وأين تُكسب الدقّة وتُفقد. أمّا الحجّة الاستراتيجية لإسناد المساعد إلى مادّتك من الأصل ففي تحويل بيانات أعمالك إلى إجابات.

ثلاثة أشياء مختلفة تُسمّى تدريبًا

ما الذي يغيّره كل أسلوب فعلًا
الضبط الدقيقالاسترجاعحشو السياق
يعلّم النموذج أسلوبًا أو نبرة أو صيغة مخرَجنعملالا
يعلّمه حقائق جديدة بموثوقيةلانعمنعم
يستطيع الإشارة إلى مصدر الإجابةلانعمنعم
تحديث السياسة تغيير وثيقة لا إعادة بناءلانعمنعم
يعمل حين تفوق المادّة حجم الطلب الواحدنعمنعملا
يستطيع تقييد ما يراه مستخدم بعينهلانعملا
عملي للتكرار مع تغيّر المحتوىلانعمنعم

الضبط الدقيق أسلوب حقيقي له استخدامات حقيقية. وتعليم المساعد سياسة الاسترجاع لديك ليس منها.

اقرأ الصفّ الثاني أولًا. هو الذي يحسم أغلب المشاريع.

الضبط الدقيق يواصل تدريب النموذج على أمثلة من عندك. وهو جيد فعلًا في تشكيل كيف يُقال الشيء — نبرة المؤسسة، وصيغة مخرَج مطلوبة، ومفردات مجال. وغير موثوق في ماذا يُقال. فالحقائق المكتسَبة بهذه الطريقة مُستوعَبة لا مخزَّنة: يصبح النموذج أميل إلى إنتاجها ولا يزيد قدرةً على إخبارك من أين جاءت ولا على ملاحظة تغيّرها. وحين تنتقل مدّة الاسترجاع من أربعة عشر يومًا إلى ثلاثين، لا تريد جولة تدريب. تريد استبدال وثيقة.

حشو السياق يعني وضع المادّة داخل السؤال نفسه. ينجح تمامًا ولا يتوسّع — فثمّة حدّ لكمّية النصّ التي يمكن إعطاؤها للنموذج دفعةً، وحتى دون ذلك الحدّ فإن دفن الفقرة المهمّة بين مئة صفحة غير ذات صلة يُضعف الإجابة قياسًا.

الاسترجاع — وهو المقصود عادةً بـ RAG — يبحث في مادّتك لحظة السؤال، ويختار الفقرات القليلة التي تخصّه فعلًا، ويعطي النموذج تلك وحدها مع تعليمة بالإجابة منها وبالتصريح حين لا تحوي الإجابة. وهو الأسلوب المطابق لما يريده الناس فعلًا حين يقولون «درّبه على بياناتنا»، وبقيّة المقال عن إتقانه.

ما الذي يمكن ربطه، وكم يكلّفك ربطه

تكاد أي مادّة مكتوبة أن تصلح مصدرًا. والمتغيّر هو حجم العمل اللازم لجعلها صالحة.

كم تحتاج كل مادّة من تهيئة عادةً
أسئلة شائعة أو قاعدة معرفة مهيكلة
١٠
صفحات ويب جيدة البناء
٢٠
ملفات PDF نصّية ووثائق السياسات
٣٥
مستندات Word والأدلّة الداخلية
٤٥
قواعد البيانات والأنظمة الحيّة
٦٠
PDF ممسوح ضوئيًا ووثائق مصوَّرة
٧٥
جداول بيانات مستخدَمة وثائقَ
٨٥

الصفّ الأخير يفاجئ الناس. الجدول يحمل معناه في تخطيطه، والتخطيط لا ينجو من التحويل إلى نصّ.

الجهد اللازم لجعل المصدر قابلًا للإجابة بموثوقية، لا جهد رفعه. حكم بنيوي من ممارسة التنفيذ لا معيار منشور.

اثنان منها يستحقّان تنبيهًا. الوثائق الممسوحة ضوئيًا لا تحوي نصًّا أصلًا — هي صور نصّ، ولا بدّ لشيء أن يقرأها أولًا، وذلك في العربية أصعب بوضوح منه في الإنجليزية. وهي مشكلة قابلة للحلّ (التعرّف الضوئي على الحروف) لكنها خطوة لا أمر مفروغ منه، وتستحقّ دقّتها الفحص على أسوأ مسح لديك لا على أفضله.

قواعد البيانات والأنظمة الحيّة فئة أخرى تمامًا. حالة الطلب ليست وثيقة ولا ينبغي نسخها في وثيقة — فهي تتغيّر. تلك استعلام لحظة السؤال، وهو الحدّ بين الاسترجاع والتنفيذ، وتفصيله في الوكلاء الأذكياء مقابل روبوتات الدردشة.

التقسيم: أقلّ القرارات بريقًا وأكثرها حسمًا للدقّة

الدليل من مئة صفحة لا يمكن إعطاؤه للنموذج كاملًا، فيُقسَّم إلى فقرات. وطريقة التقسيم من أكبر محدِّدات جودة إجابة المساعد، ولا تكاد تُناقَش في اجتماع بيع.

قسّم صغيرًا جدًّا تفقد الفقرات سياقها: فقرة تقول «لا ينطبق هذا على الحسابات المؤسسية» بلا معنى دون معرفة ما «هذا». وقسّم كبيرًا جدًّا تحمل كل فقرة عدّة مواضيع، فتصبح مطابقةً أضعف لأي سؤال محدّد، وتُهدر مساحةً كانت فقرة ثانية أفضل ستستخدمها.

ما يفصل التقسيم الجيد عن الساذج
  1. ١قسّم على المعنى لا على الطولحدود الأقسام والعناوين تحمل بنية الكاتب نفسه. والقطع في منتصف حجّة يتلف معلومة كان الاحتفاظ بها مجانًا.
  2. ٢أبقِ العنوان مع الفقرةالفقرة التي تحمل عنوان وثيقتها وعنوان قسمها تُفهم منفردة. والتي لا تحملهما كثيرًا ما لا تُفهم.
  3. ٣اجعل بينها تداخلًا يسيرًاتداخل صغير بين الفقرات المتجاورة يمنع ضياع إجابة تقع على الحدّ بينهما.
  4. ٤أبقِ الجداول مجتمعةجدول رسوم مقسوم على فقرتين ينتج أرقامًا خاطئة بثقة، لأن نصف الجدول ما زال يبدو جدولًا كاملًا.
  5. ٥احمل البيانات الوصفيةأي وثيقة، وأي نسخة، وأي تاريخ، وأي لغة، ومن يجوز له الاطّلاع. كلها مطلوبة لاحقًا — للإشارة إلى المصدر، وللتصفية، ولضبط الوصول.

البند الخامس هو الفرق بين فهرس بحث وشيء يمكن تشغيله بأمان.

التقسيم الساذج يقطع كل عدد ثابت من الحروف. وكل بند أدناه طريقة لاحترام ما كانت الوثيقة تقوله فعلًا.

التضمينات والبحث نفسه

تُحوَّل كل فقرة إلى قائمة أرقام — تضمين — موضوعة بحيث تقع الفقرات المتقاربة معنًى قريبةً من بعضها. ويُحوَّل السؤال بالطريقة نفسها، فتُسترجَع أقرب الفقرات. ولهذا يعمل البحث على المعنى لا على الكلمات الحرفية: «متى تسكّرون» و«ما ساعات العمل» تقعان في الموضع نفسه تقريبًا دون أن تشتركا في كلمة دالّة واحدة.

وتعيش هذه الأرقام في قاعدة بيانات متجهات، غرضها الإجابة سريعًا عن «ما الأقرب إلى هذا» عبر مجموعة كبيرة. وهذه وظيفتها كلها. واختيار القاعدة قرار أصغر ممّا يوحي به المورّدون؛ أمّا اختيار نموذج التضمين وهل يتعامل مع العربية فعلًا فقرار أكبر بكثير.

وعمليًا نادرًا ما يكون أفضل استرجاع دلاليًّا خالصًا. فالبحث بالمعنى ضعيف تحديدًا حيث تهمّ الدقّة أكثر — رموز المنتجات وأرقام السياسات والأسماء والمراجع — لأنها تحمل محتوًى دلاليًّا ضئيلًا. ودمجه بالبحث بالكلمات المفتاحية يغطّي الاثنين، وهذا ما تفعله أغلب الأنظمة الجادّة.

الاختبار الذي يخطئ فيه الجميع تقريبًا

هذا أنفع ما في هذا المقال، وهو الخطأ الذي وقعنا فيه نحن قبل أن نلتقطه.

الطريقة الطبيعية لاختبار الاسترجاع أن تأخذ كل وثيقة وتسأل السؤال الذي تجيب عنه وتتحقّق من عودتها. وبهذه الطريقة يقارب النظام الكمال ولا تعني الدرجة شيئًا — فقد سألت الوثيقة عن نفسها بكلماتها هي. والعملاء الحقيقيون لا يستعملون كلمات وثيقتك. يستعملون صياغات قصيرة مهمَلة عامّية كثيرة الأخطاء، بأي لغة أقرب إلى أيديهم.

ما يستحقّ التذكّر

اختبر الاسترجاع بصياغات بديلة لا بجُمل الوثيقة نفسها. النظام الذي يقارب الكمال أمام صياغته هو قد يرتّب الإجابة الصحيحة في المرتبة الأربعين لسؤال يكتبه عميل حقيقي — ولن تعرف حتى يُطلق.

ابنِ مجموعة اختبار من صياغات حقيقية — من تذاكر الدعم، ومن سجلّات البحث، ومن موظفيك مطلوبًا منهم الصياغة السيئة عمدًا — بالعربية والإنجليزية، وقِس كم مرّة تظهر الفقرة الصحيحة في المراتب الأولى. ذلك الرقم هو الذي يتنبّأ بالسلوك الحيّ. وكل مقياس استرجاع آخر بديل عنه.

وتستحقّ العربية مجموعة اختبار خاصّة بها لا مترجَمة عن الإنجليزية، لأسباب مبسوطة في لماذا فهم العربية أصعب من توليدها. والخلاصة: السؤال نفسه يصل مكتوبًا بعدّة صور مشروعة، ونظام استرجاع لم يُختبر أمام ذلك التنوّع لم يُختبر.

إبقاؤها محدَّثة، ومعالجة الوثائق المتعارضة

قاعدة المعرفة ليست مشروعًا بل حالة. ونمط الإخفاق ليس دراميًّا — لا شيء يتعطّل. يظلّ المساعد ببساطة يقتبس سياسة العام الماضي بثقة، اقتباسًا صحيحًا، من وثيقة نسي أحدهم إزالتها.

وثلاث ممارسات تمنع أغلب ذلك. احذف بدل أن تضيف. حين تُستبدَل سياسة يجب أن تخرج القديمة من الفهرس؛ فإبقاؤها مع إضافة الجديدة يضمن أن يجد المساعد الخاطئة أحيانًا بلا وسيلة لمعرفة خطئها. وأرّخ كل شيء، حتى إذا تعارض مصدران فعلًا حسم الأحدث الأمر واستطاع المساعد بيان أيّهما استعمل. وسمِّ مالكًا لكل وثيقة — فمن يملك السياسة يملك الملفّ، وهذا الترتيب هو الذي يصمد أمام الواقع.

وحين يكون التعارض لا مفرّ منه — سياسة عامّة واستثناء قطاعي مثلًا — ينبغي أن يعرض المساعد الاثنين لا أن يختار بصمت. «المدّة القياسية كذا؛ وللحسابات المؤسسية سياسة منفصلة» إجابة صحيحة ونافعة. أمّا اختيار إحداهما عشوائيًّا وذكرها جازمةً فلا.

ليس كل أحد ينبغي أن يرى كل شيء

لحظة دخول المادّة الداخلية إلى الفهرس يصبح الاسترجاع مسألة ضبط وصول، وهي أكثر ما يُؤجَّل. فسياسة موارد بشرية عن الإجراءات التأديبية وسياسة استرجاع عامّة لا يمكن أن تقعا في مجموعة واحدة غير مميَّزة إن كان المساعد نفسه يخدم الموظفين والعملاء.

ولا بدّ أن يُطبَّق الضابط عند الاسترجاع — بتصفية الفقرات المؤهَّلة أصلًا للعثور عليها بحسب من يسأل — لا بتعليم النموذج أن يكتم أسرارًا. فالنموذج المطلوب منه ألّا يفشي شيئًا مطلوب منه تقدير، والتقدير هو بالضبط ما لا يملكه. وإذا كانت الفقرة قابلة للاسترجاع فعاملها على أنها قابلة للإفشاء.

ما يستحقّ التذكّر

ضبط الوصول مكانه مُصفّي الاسترجاع لا التعليمات. وكل ما يستطيع البحث إرجاعه، افترض أن العميل يستطيع قراءته.

والبيانات الشخصية داخل الوثائق المصدر مشكلة قريبة ومنفصلة — راجع إخفاء البيانات الشخصية ونظام حماية البيانات وروبوتات الدردشة.

منع الاختلاق

إسناد المساعد إلى فقرات مسترجَعة يقلّل الاختلاق كثيرًا. ولا يُلغيه، ومن يزعم غير ذلك يبيع شيئًا. وأربعة ضوابط أخرى تؤدّي ما تبقّى.

ينبغي أن يُعلَّم المساعد الإجابة ممّا استُرجع فقط، وأن يرفض حين لا يعود شيء ذو صلة — وهو سلوك مصمَّم يجب بناؤه واختباره، لأن السلوك الافتراضي للنموذج اللغوي إنتاج شيء. وينبغي أن يشير إلى المصدر، ليتحقّق العميل ولتتبّع فريقك إجابةً سيئة إلى الوثيقة التي سبّبتها. وينبغي فرض المحظورات المهمّة بعد التوليد، بفحص ما يوشك أن يُرسل، لا بالطلب المهذّب من النموذج في تعليمة. التعليمة تفضيل، والفحص ضابط.

كيف يبدو ذلك مع إلبي

عمليًا العمل هو: وجّهه إلى مادّتك، دعه يعالجها ويفهرسها، ثم اختبره بشدّة على الأسئلة التي يطرحها عملاؤك فعلًا. لا جولة تدريب، ولا نموذج يُعاد تدريبه حين تتغيّر سياسة، ولا تذكرة هندسية لتحديث رسم — تتغيّر الوثيقة فتتغيّر الإجابة معها، وهذا هو مقصد البناء بهذه الطريقة كلّه.

والأجزاء التي نتولّاها بدل تركها لك هي التي يسهل الخطأ فيها ممّا سبق: تقسيم يحترم بنية الوثيقة، واسترجاع يجمع البحث بالمعنى والكلمات، وعربية معالَجة لغةً قائمة بذاتها لا هدفَ ترجمة، وإشارة إلى المصادر، ورفض يرفض فعلًا، وقواعد وصول مطبَّقة عند الاسترجاع. وفهم الملفّات يغطّي جانب الاستيعاب بما فيه الوثائق الممسوحة.

أمّا ما يبقى لك ولا يمكن إسناده لغيرك فهو تحديد ما الإجابات الصحيحة. فأغلب العمل الحقيقي في هذه المشاريع ليس تعلّم آلة، بل التوفيق بين ثلاث نسخ من سياسة والاتفاق على أيّها الصحيحة.

أسئلة متكرّرة

نادرًا جدًّا. الضبط الدقيق يشكّل كيف يكتب النموذج — النبرة والصيغة والمفردات — وهو غير موثوق في تعليمه الحقائق، لأن ما يُكتسب بهذه الطريقة لا يمكن الإشارة إلى مصدره ولا التحقّق منه ولا تحديثه دون جولة تدريب أخرى. والاسترجاع هو الأسلوب المطابق لما يريده الناس فعلًا.

في نظام قائم على الاسترجاع تستبدل الوثيقة فتتغيّر الإجابات معها. لا إعادة تدريب ولا تغيير برمجي. والانضباط الحاسم هو الحذف: يجب أن تخرج الوثيقة المستبدَلة من الفهرس، لأنها إن بقيت سيجدها المساعد أحيانًا ولن يملك وسيلة لمعرفة أنها قديمة.

تُقسَّم الوثائق الطويلة إلى فقرات قبل الفهرسة. التقسيم الصغير جدًّا يُفقد الفقرات السياق الذي جعلها ذات معنى، والكبير جدًّا يجعل كل فقرة تغطّي عدّة مواضيع فتطابق أي سؤال محدّد ضعيفًا. والتقسيم الجيد يتبع العناوين والأقسام، ويبقي العنوان مع الفقرة، ويبقي الجداول مجتمعة، ويحمل البيانات الوصفية.

بصياغات بديلة لا بجُمل الوثائق نفسها. فسؤال كل وثيقة عن السؤال الذي تجيب عنه حرفيًّا ينتج درجة شبه كاملة لا تعني شيئًا. ابنِ مجموعة اختبار من صياغات العملاء الحقيقية — من التذاكر وسجلّات البحث، بالعربية والإنجليزية — وقِس كم مرّة تظهر الفقرة الصحيحة في المراتب الأولى.

نعم، لكن بتصفية ما يُسمح للاسترجاع بإرجاعه لذلك المستخدم، لا بتعليم النموذج كتمان الأسرار. فالنموذج المطلوب منه ممارسة التقدير لا يملكه بموثوقية. والافتراض الآمن أن كل ما يستطيع البحث إرجاعه قابل للإفشاء لمن يسأل.

جرّبه على محتواك أنت

مساعد يعمل على موادّك أنت، باللغتين.