اطرح على نموذج أساسي حديث سؤالاً بالعربية الفصحى فسيتدبر غالباً. واطرح عليه السؤال نفسه بالعربية الخليجية التي يتحدثها فعلاً مقيم في دبي أو الرياض، فتنهار الجودة. هذا ليس شذوذاً في نظام بعينه، بل نمط ثابت عبر النماذج، وله سبب محدد. فالعربية التي تعلمت منها النماذج ليست العربية التي يتحدثها الناس.
لكل من يبني ذكاءً اصطناعياً للخليج، هذه الفجوة في البيانات هي المشكلة التقنية المركزية، ويجدر فهم لماذا هي بهذا العناد وما يتطلبه سدها فعلاً.
لماذا توجد الفجوة
العربية الفصحى ممثَّلة تمثيلاً مفرطاً في النص الذي يتدرب عليه النموذج، لأنها لغة الكتابة المنشورة والوثائق الرسمية والإعلام الرسمي. أما اللهجات فممثَّلة تمثيلاً ناقصاً، لأنها منطوقة في المقام الأول، وحتى وقت قريب كان القليل جداً من ذلك الكلام مجموعاً ومنسوخاً وقابلاً للاستخدام في التدريب. وتميل العربية الخليجية إلى أن تكون الأضعف بين عائلات اللهجات الرئيسة في تقييم النماذج، بالضبط لأنها الأبعد عن السجل الرسمي الذي يهيمن على البيانات، ولأن مادة تدريب اللهجات الجيدة كانت الأندر.
والنتيجة نموذج يقرأ إشعاراً قانونياً بكفاءة ويخفق في كيفية صياغة عميل حقيقي لشكواه، أو خلطه العربية بالإنجليزية في منتصف الجملة، أو استخدامه مفردات بلد خليجي بعينه. وبالنسبة إلى تطبيق يواجه العملاء، هذا هو كامل المشكلة، لأن العملاء لا يتحدثون بالعربية الفصحى.
لماذا ليس المزيد من البيانات هو الجواب
الحل الغريزي هو جمع مزيد من البيانات العربية. وذلك ضروري وغير كافٍ، لأن الإخفاقات التي نراها أكثر ما نراها إخفاقات جودة لا إخفاقات حجم. فمحاولات المورّدين لسد الفجوة تنتج بانتظام بيانات ترسب في القبول، والسبب هو ذاته دوماً تقريباً: استُخدم مُعلِّمون من منطقة عربية لوسم كلام من منطقة أخرى.
هذه هي حقيقة اللهجة نفسها التي تحكم خدمة العملاء العربية، وقد وصلت إلى سياق تقني. فكفاءة اللهجة لا تنتقل داخل اللغة. المتحدث الشامي الطليق الذي يصدر أحكاماً على الكلام الإماراتي سيخطئ في أمور دقيقة، والأمور الدقيقة هي بالضبط ما يحتاج النموذج إلى تعلمه ليتعلم اللهجة. والبيانات الموسومة من أشخاص بلا حدس أصلي للنوع المحدد تبدو بيانات تدريب وتتصرف كضوضاء.
الحل مسألة قوى عاملة
سد الفجوة بصورة سليمة انضباط قوى عاملة وعملية قبل أن يكون تقنية نموذج. ثلاثة أمور يجب أن تكون صحيحة.
أولاً، يُوائم المُعلِّمون مع اللهجة لا مع اللغة. الإماراتيون والسعوديون والكويتيون والقطريون والبحرينيون والعمانيون يعملون على المادة الخليجية. والمادة الشامية والمصرية والمغاربية تذهب إلى متحدثين أصليين بتلك الأنواع. والمواءمة باللهجة لا بالعربية عموماً هي القرار الأشد تحديداً لما إذا كانت البيانات المسلَّمة ستجتاز القبول.
ثانياً، يُجمَع العمل ويُوسَم في ظروف حقيقية. كلام ميداني من متحدثين وافقوا، ونسخ يلتقط التبديل اللغوي بين العربية والإنجليزية بدل رميه، ووسم يحكم على السجل والملاءمة الثقافية لا على المحتوى الحرفي فحسب. والكلام المبدَّل لغوياً بخاصة هو حيث تخفق خطوط الأنابيب الضيقة، وهو بالضبط كيف يتحدث المقيمون الخليجيون ثنائيو اللغة فعلاً.
ثالثاً، تُفرَض الجودة لا تُقاس بعد وقوعها. مراجعة متعددة الطبقات باتفاق مُقاس بين المُعلِّمين، وطبقة تحكيم للخلافات الحقيقية، وحلقة تغذية راجعة إلى الإرشادات. وحيث تنتج الإرشادات نفسها نتائج غير متسقة، فالخطوة الصادقة أن تقول ذلك وتقترح مراجعة، بدل تسليم بيانات غير مستقرة بهدوء. هذا هو الانضباط الذي يفصل بين بيانات يتحسن عليها النموذج فعلاً وبيانات تصل فحسب.
الترسيخ يهم بقدر التدريب
بيانات التدريب الأفضل ترفع الأرضية، لكنها لا تلغي الحاجة إلى العناية عند نقطة الاستخدام. فالجهة الحكومية التي تضع مساعداً عربياً أمام المواطنين لا يمكنها الاعتماد على توليد النموذج بحرية، لأن إجابة خاطئة واثقة عن استحقاق قانوني غير مقبولة. والنمط الموثوق هو استرجاع مرسّخ في محتوى الجهة العربي المنشور، مع تقييد المساعد عن الإجابة خارج تلك المدونة وصدقه حين لا يعرف. ويعيش عمل اللهجة عندئذٍ في طبقة فهم الاستفسار، التي عليها أن تدرك كيف يصوغ شخص حقيقي طلبه، وفي إعادة كتابة المدونة المصدرية بعربية واضحة قبل فهرستها، لأن النظام المرسّخ ليس أفضل من المادة التي رُسِّخ فيها.
لماذا هذه ميزة إقليمية
فجوة بيانات العربية الخليجية مشكلة، لكنها للعمليات القائمة في المنطقة موقع أيضاً. فالمواهب اللازمة لسدها، متحدثون أصليون عبر كل لهجة رئيسة بالسجل والحكم الثقافي الذي يتطلبه العمل، متركزة هنا على نحو لا نظير له في أي مكان آخر. كوربشور مصنَّفة الخامسة بين شركات تعهيد الذكاء الاصطناعي عالمياً، وبيانات اللهجات العربية جزء كبير من السبب. ستُسَد الفجوة للمطورين الذين يعاملونها انضباط قوى عاملة لا عملية شراء بيانات. وهذا جواب أبطأ من أمر شراء، لكنه الجواب الوحيد الذي ينتج بيانات يمكن للنموذج أن يتعلم منها فعلاً.