الذكاء العربي

معالجة اللغة العربية: لماذا فهم العربية أصعب من توليدها

النماذج الحديثة تكتب عربية جميلة. وتلك هي المشكلة. المخرَج الفصيح هو النصف السهل، وهو يحجب النصف الصعب حجبًا تامًّا حتى ليُخفق النظام على أغلب حركتك بينما يبدو كل ردّ سليمًا.

١١ دقيقة قراءة ١ أغسطس ٢٠٢٦

أرِ متّخذ قرار نظامًا ذكيًّا يجيب بالعربية وينتهي العرض. المخرَج فصيح، سليم الإعراب، مناسب الرسمية. ويبدو أن المشكلة حُلّت.

وما يعرضه هو التوليد، وهو النصف الأسهل بفارق واسع. أمّا النصف الذي يقرّر نجاح التطبيق فهو الفهم — وإخفاقات الفهم في العربية صامتة. لا يتعثّر النظام ولا ينتج نصًّا مكسورًا. بل ينتج إجابة عربية فصيحة واثقة سليمة على سؤال لم يفهمه، وهي لا تُميَّز عن النجاح لدى أي مشاهد.

هذا المقال هو الشرح التقني للسبب. أمّا النسخة الموجَّهة للأعمال — ما تطلبه من مورّد وكيف تختبره — ففي لماذا تحتاج الشركات السعودية ذكاءً يفهم العملاء المحلّيين.

التفاوت، بوضوح

توليد العربية يعني إنتاج نصّ يتّبع أنماط العربية الفصحى الحديثة، والفصحى ممثَّلة تمثيلًا وافرًا جدًّا في بيانات التدريب — الأخبار والكتب والوثائق الرسمية والموسوعات. فيرى النموذج كمّيةً هائلة منها ويتعلّم إنتاجها إنتاجًا مقنعًا.

وفهم العربية يعني تفسير ما كتبه شخص فعلي تفسيرًا صحيحًا، والأشخاص الفعليون لا يكتبون الفصحى. يكتبون باللهجة، مختصرين، بلا تشكيل، بإملاء متغيّر، مخلوطًا بالإنجليزية، من هاتف، والتصحيح التلقائي يتدخّل. وذلك المستوى أقلّ تمثيلًا بكثير في بيانات التدريب، وهو عمليًّا كل حركتك.

ما يستحقّ التذكّر

الفجوة بين جودة مخرَج النظام العربي وفهمه للمدخل العربي هي أكبر مصدر خيبة في تطبيقات الذكاء العربي — وجودة المخرَج هي النصف الوحيد الذي يريكه العرض التقديمي.

الازدواجية: لغتان تحملان اسمًا واحدًا

العربية مزدوجة إلى درجة غير معتادة. الفصحى الحديثة هي المستوى المكتوب والرسمي: سياساتك مكتوبة بها، والأخبار تُقرأ بها، ولا يكاد أحد يتحدّث بها في حياته. وإلى جانبها تختلف اللهجات الإقليمية عن الفصحى وعن بعضها في المفردات والتركيب والنطق — اختلافًا يجعل المغربي والسعودي قد يتعثّران بلهجتيهما بينما يكتب كلاهما فصحى شبه متطابقة.

وهذا يهمّ نظامًا يواجه العملاء فورًا، لأن السؤال نفسه يصل بصور عدّة:

سؤال واحد، أربعة مستويات

الفصحىالمستوى الذي كُتبت به وثائقكرسمي، تامّ، معرَب. ولا يكاد أحد يكتبه في نافذة محادثة.
اللهجة الخليجية والسعوديةالمستوى الذي يستعمله عملاؤكأدوات استفهام مختلفة، وأفعال مختلفة، وشكل جملة مختلف. وليست عربية خاطئة — بل نوع آخر منها.
المخلوطجملة عربية باسم إنجليزيأسماء المنتجات والعلامات وكثيرًا الأرقام تبقى إنجليزية داخل جملة عربية. وهذا هو الوضع الاعتيادي هنا لا حالة طرفية.
العربيزيالعربية بحروف لاتينية وأرقامشائع في الرسائل السريعة غير الرسمية. وقد لا يسجّله نظام يتوقّع الحرف العربي على أنه عربية أصلًا.

النظام الذي يتعامل مع الصفّ الأول وحده سيبدو ناجحًا في كل اختبار يكتبه فريقك التسويقي.

الأربعة تعني «كم السعر». ونظام استرجاع مضبوط على الأول كثيرًا ما يُخطئ البقيّة، والبقيّة هي ما يكتبه العملاء.

وعمليًّا: يظهر الطلب نفسه بصيغة «كم السعر؟» فصحى، و«بكم؟» خليجية، و«وش سعر الـ subscription؟» مخلوطة، و"besh el se3r?" بحروف لاتينية. والأولى وحدها تشبه شيئًا في وثائق سياساتك.

تنوّع الإملاء ليس خطأً

لعدّة حروف عربية صور يستعملها الكاتبون الأصليون بالتبادل في الكتابة غير الرسمية. وهي ليست أخطاءً مطبعية وتصحيحها ليس المقصود — على النظام أن يعاملها شيئًا واحدًا.

فصور الهمزة — أ وإ وآ والألف المجرّدة — تُسطَّح اعتياديًّا إلى المجرّدة عند الكتابة السريعة. والتاء المربوطة في آخر الكلمة تُكتب هاءً كثيرًا. والألف المقصورة والياء يتبادلان باستمرار. والتشكيل، الذي يفكّ اللبس، غائب عن كل كتابة حقيقية تقريبًا.

والنتيجة على البحث مباشرة: «الأسعار» و«الاسعار» كلمة واحدة لدى القارئ وسلسلتان مختلفتان لدى الحاسوب. والنظام الذي لا يوحّد هذه قبل المطابقة سيُخطئ حصّة كبيرة من الاستعلامات الحقيقية — وسيُخطئها بصمت، مرجِعًا شيئًا آخر بدا قريبًا.

الصرف: كلمة تحمل جملة

تبني العربية كلماتها من جذر صامت تشكّله أوزان، ثم تلحق بها سوابق ولواحق تعبّر عنها لغات أخرى بكلمات منفصلة — فحروف العطف والجرّ وأداة التعريف وضمائر المفعول تلتحم كلّها بالجذع.

فالجذر «ك ت ب» ينتج «كتاب» و«كاتب» و«مكتب» و«مكتبة» و«مكتوب» — متقاربة في المعنى ولا تشترك في سابقة قابلة للمطابقة. والكلمة المكتوبة الواحدة مثل «وبمكتبتهم» تحمل الواو والباء والضمير والمكتبة دفعةً.

ويتبع ذلك أمران عمليّان. البحث بالكلمات المفتاحية يؤدّي أسوأ بكثير في العربية منه في الإنجليزية، لاختلاف الصور السطحية. والتقطيع — الخطوة التي يُشقّ فيها النصّ قبل أي شيء — يؤدّي عملًا أعظم أثرًا في العربية، ولهذا قد يسلك مسارٌ بُني وتُحقّق منه على الإنجليزية سلوكًا مختلفًا تمامًا على العربية دون أن يغيّر أحد إعدادًا.

أين ينكسر فعلًا: الاسترجاع

جمع الأقسام الثلاثة السابقة ينتج الإخفاق المحدَّد الذي يكلّف التطبيقات العربية أكثر ما يكلّفها.

قاعدة المعرفة بالفصحى، لأن السياسات تُكتب رسميًّا. والسؤال يصل باللهجة، بهمزات مسطَّحة، وباسم منتج إنجليزي في وسطه، وبلا تشكيل. فتحاول خطوة الاسترجاع المطابقة، ولا تجد شيئًا قوي الصلة، وتُرجع أقرب الفقرات لديها. ثم يفعل النموذج ما تفعله النماذج اللغوية: يكتب إجابة ممتازة من مادّة ضعيفة.

فيتلقّى العميل عربية فصيحة لا تجيب عن سؤاله. ولا يسجّل أحد خطأً. ولا يظهر شيء في أي لوحة. وإن كان المساعد قد اختُبر بسؤال الوثائق عن نفسها بصياغتها هي، فمجموعة الاختبار تُبلغ عن دقّة شبه كاملة طوال الوقت. وآليات الإصلاح في كيف تدرّب روبوت دردشة على بياناتك؛ والخلاصة: توحيد قبل المطابقة، ودمج البحث بالكلمات والبحث بالمعنى، ومجموعة اختبار مبنية من صياغات حقيقية.

الأسماء والمصطلحات السعودية

القدرة العربية العامّة لا تمنح معرفةً محلّية، وهذه فئة إخفاق لن يكشفها اختبار في القاهرة أو بيروت.

فأسماء الأماكن تحمل صور كتابة لاتينية متعدّدة وصور كتابة عربية متعدّدة. والخدمات الحكومية وأنواع المستندات والإجراءات الرسمية لها أسماء بعينها تتكرّر في أسئلة العملاء ونادرًا ما ترد في بيانات التدريب العامّة. وأسماء الشركات والمنتجات تُنقل حرفيًّا بصور غير متّسقة، وأحيانًا داخل المحادثة الواحدة. والنظام الذي لا يتعرّف عليها يعاملها كلمات مجهولة ويتدهور بهدوء الاسترجاعُ المعتمد عليها.

والعلاج ليس مزيدًا من القدرة العربية العامّة. العلاج هو مفرداتك أنت، حاضرةً في مادّتك أنت، بالصور التي يستعملها عملاؤك فعلًا — وهو أحد ما تحمله قاعدة معرفة مبنيّة كما ينبغي ولا يستطيعه نموذج عامّ.

الصوت يجعل كل ما سبق أصعب

التعرّف على الكلام العربي يرث كل ما سبق ويضيف صعوباته. فاللهجات تتفاوت كثيرًا داخل المملكة وأكثر بكثير عبر العالم العربي. والمتحدّثون يتناوبون بين اللغتين في منتصف الجملة، فعلى المُعرِّف أن يعالج لغتين في نطق واحد. والأرقام والتواريخ ورموز المراجع — وهي ما يتّصل الناس بشأنه — هي بالضبط حيث يقلّ احتمال التسامح مع أخطاء التعرّف، وكثيرًا ما تُنطق بالإنجليزية داخل جملة عربية.

والمخرَج نصّ بلا تشكيل، فيعود اللبس الذي يحسمه النطق بمجرّد كتابته. اختبر الكلام العربي بمتّصلين حقيقيين في ظروف حقيقية — ضجيج خلفي، وهاتف، ولهجة — لا في غرفة هادئة بمتحدّث واضح، لأن الاختبار الثاني تنجح فيه أنظمة تُخفق في الأول. راجع تحويل الكلام إلى نصّ ووكلاء الصوت الأذكياء في السعودية.

كيف تُختبر العربية كما ينبغي

أغلب اختبار العربية اختبار توليد يرتدي لافتة فهم. وخمس ممارسات تفصل بينهما.

بروتوكول اختبار عربي حقيقي

١ابنِ مجموعة الاختبار العربية بالعربيةلا مترجَمة عن اختبارات إنجليزية. فالأسئلة المترجَمة تحمل تركيب الجملة الإنجليزية واختياراتها المفرداتية، وهي أسهل من الحقيقية.
٢استعمل صياغات العملاء الحقيقيةمن التذاكر، ومن سجلّات البحث، ومن الرسائل. باللهجة والاختصارات وغياب التشكيل وتلف التصحيح التلقائي وكل ذلك.
٣اختبر الاسترجاع منفصلًا عن الإجابةقِس كم مرّة عُثر على الفقرة الصحيحة قبل النظر فيما كُتب. فالإجابة الجيدة من الفقرة الخطأ حظّ، ولن تتكرّر.
٤أدرج الرسائل المخلوطة والمكتوبة بحروف لاتينيةجملة عربية باسم منتج إنجليزي؛ وسؤال مكتوب كلّه بالعربيزي. وكلاهما حركة اعتيادية وكلاهما يكسر أنظمة تنجح في كل اختبار آخر.
٥اجعل متحدّثًا خليجيًّا أصليًّا يقرأ الإخفاقاتلا مترجمًا، ولا قارئًا متمكّنًا من الفصحى فحسب. بل من يلاحظ أن ردًّا سليم التركيب تمامًا يجيب عن سؤال آخر.

البند الخامس وحده هو الذي يلتقط الإخفاق الصامت بموثوقية، لأن الإخفاق الصامت يبدو صحيحًا لكل فحص آلي.

كل بند طريقة لاختبار الفهم لا الطلاقة. فالطلاقة ستنجح على كل حال.

ما الذي يعنيه «العربية أولًا» هنا

يكاد كل مورّد يبيع في المملكة يدعم العربية، ويكاد كلّهم يصدقون بالمعنى الضيّق أن العربية دخلًا تنتج عربية خرجًا. والسؤال ذو المعنى هو هل عوملت العربية لغةً قائمة بذاتها أم هدفَ ترجمة.

وذلك يعني في إلبي أن الأسئلة العربية تُطابَق أمام مادّة عربية مباشرةً لا عبر رحلة ذهاب وإياب إلى الإنجليزية؛ وأن الاستعلامات تُوحَّد لتنوّع الإملاء قبل أي مطابقة؛ وأن الاسترجاع يجمع البحث بالمعنى والبحث بالكلمات، لأن كلًّا منهما يغطّي ضعف الآخر في العربية تحديدًا؛ وأن مجموعة الاختبار العربية مجموعتها الخاصّة مبنيّة من صياغات حقيقية لا مترجَمة؛ وأن الواجهة معكوسة فعلًا لا يسارية بنصّ عربي فيها.

ويعني أيضًا الصدق بشأن الحدود الباقية. لا نظام يفهم كل اللهجات بالدرجة نفسها، وتغطية اللهجات طيف لا خانة اختيار، والاستجابة الصحيحة لسؤال لم يفهمه النظام أن يقول ذلك ويسلّم لا أن ينتج عربية أنيقة تُخطئ. وإن أردت اختبار أي من ذلك — لدينا أو لدى غيرنا — فأسرع طريق مادّتك أنت وصياغات عملائك أنت، ويسعدنا تجهيز ذلك.

أسئلة متكرّرة

لماذا العربية أصعب على الذكاء الاصطناعي من الإنجليزية؟

أربعة أسباب متراكبة: الازدواجية، حيث يختلف المستوى المكتوب الرسمي اختلافًا حادًّا عمّا يكتبه الناس فعلًا؛ وتنوّع الإملاء الذي يستعمله الكاتبون الأصليون بالتبادل؛ والصرف الغنيّ، حيث تلتحم السوابق وأداة التعريف والضمائر بالكلمة فتختلف الصور السطحية اختلافًا هائلًا؛ والتناوب المستمرّ مع الإنجليزية. وكلّها تُضعف المطابقة وتصل مجتمعة.

لماذا يكتب الروبوت عربية جيدة ولا يفهم العملاء؟

لأن التوليد والفهم مسألتان مختلفتان ببيانات تدريب مختلفة. الفصحى ممثَّلة بوفرة، فالمخرَج الفصيح مباشر. أمّا مدخل العملاء الحقيقي فباللهجة وبلا تشكيل ومتغيّر الإملاء ومخلوط بالإنجليزية، وهو أقلّ تمثيلًا بكثير. والإخفاق صامت: إجابة عربية سليمة واثقة على سؤال لم يفهمه النظام.

هل يعني دعم العربية دعم اللهجة السعودية؟

لا عادةً. فأغلب دعم العربية يعني الفصحى الحديثة — مستوى الوثائق والأخبار، لا المستوى الذي يكتبه أحد في نافذة محادثة. والاستعمال الخليجي والسعودي يختلف في أدوات الاستفهام والأفعال وشكل الجملة. والعميل الذي يكتب باللهجة لا يكتب خطأً؛ والنظام المضبوط على النصّ الرسمي وحده سيُخطئه ببساطة.

ما العربيزي وهل يهمّ؟

العربية مكتوبة بحروف لاتينية وأرقام تنوب عن أصوات لا مقابل لاتيني لها. وهو شائع في الرسائل السريعة غير الرسمية، خصوصًا لدى العملاء الأصغر سنًّا، وقد لا يسجّله نظام يتوقّع الحرف العربي على أنه عربية أصلًا. وإن كنت تخدم المستهلكين عبر الرسائل فمكانه مجموعة اختبارك.

كيف يُختبر الذكاء الاصطناعي العربي؟

ابنِ مجموعة الاختبار العربية بالعربية لا مترجَمة عن اختبارات إنجليزية، بصياغات عملاء حقيقية من التذاكر والسجلّات. وقِس الاسترجاع منفصلًا عن الإجابة حتى لا يُحسب ردّ جيد من مصدر خاطئ نجاحًا. وأدرج الرسائل المخلوطة والمكتوبة بحروف لاتينية. واجعل متحدّثًا خليجيًّا أصليًّا يقرأ الإخفاقات — فالإخفاق الصامت يبدو صحيحًا لكل فحص آلي.