اصطياد هلوسات الذكاء الاصطناعي: 3 حواجز لفِرَق B2B

كيف تبدو هلوسات الذكاء الاصطناعي في سير عمل B2B الفعلي؟

الهلوسة هي أن يولّد النموذج إجابةً تبدو واثقة لكنّها خاطئة. في B2B تظهر بثلاث صور كلاسيكية: (1) اختراع رقم طلب غير موجود في استفسار دعم، (2) "اقتباس" تاريخ ليس في العقد فعلياً عند تلخيصه، (3) اختراع فئة جديدة عند تصنيف فاتورة خارج المجموعة المُعرَّفة.

الثلاث تتشارك النمط نفسه: حين لا يجد النموذج مرساةً حقيقية، يملأ الفراغ. المشكلة أنّ المخرج يبدو واثقاً — حتى لو كان خاطئاً. القول إنّ «الذكاء الاصطناعي مخطئ» لا يكفي؛ علينا معرفة أين ولماذا. الحواجز الثلاثة أدناه تفعل ذلك.

ثلاثة حواجز: المصدر، القاعدة، الإنسان

1) استشهاد بالمصدر: يُعيد النموذج كل إجابة مع معرّف الوثيقة المصدر أو رقم السطر. عند غياب المصدر يجيب "لا أعلم". تنخفض الهلوسات بنحو 80%.

2) فحص قواعد مُسبق: تحقّق من المخرج وفق قواعد المجال قبل تسليمه — هل رقم الطلب من 8 خانات؟ هل فئة الفاتورة في القائمة؟ هل صيغة التاريخ صحيحة؟ هذه الفحوصات الرخيصة بـ Python تلتقط معظم الأخطاء.

3) موافقة بشريّة مُسبقة: تُقترح الإجراءات عالية المخاطر (الاسترداد، توقيع العقود) من قِبَل الذكاء الاصطناعي ويُوافق عليها إنسان. يتولّى الذكاء الاصطناعي نحو 95% ذاتياً؛ تذهب 5% الاستثناءات إليك للمراجعة.

الثلاثة معاً: في تدقيق طرف ثالث مستقل تنخفض نسبة الهلوسة دون 2%.

بناء عملية تقييم قبل الإطلاق

لا يمكنك رصد معدّل الهلوسة بمجرّد النظر إلى المخرجات؛ أنت بحاجة إلى مجموعة اختبار. ابنِ مجموعة "ذهبية" من 50 إلى 200 مثال حقيقي بإجابات صحيحة معروفة، وتأكّد أنها تغطّي الحالات الاستثنائية — بيانات مفقودة، استفسارات غامضة، طلبات خارج النطاق. شغّل النموذج مقابلها قبل كل تعديل على الموجّه (prompt) أو تغيير في النموذج، لا عند الإطلاق فقط.

تتبّع رقمين منفصلين: الدقّة (هل حصل على الإجابة الصحيحة) ومعدّل الامتناع (هل قال "لا أعرف" بشكل صحيح عندما كان ينبغي له ذلك). النموذج الذي لا يمتنع أبدًا يبدو واثقًا لكنه أكثر خطورة؛ والنموذج الذي يمتنع كثيرًا مزعج لكنه أكثر أمانًا. العتبة الصحيحة تعتمد على مدى تكلفة الإجابة الخاطئة مقارنةً بالإجابة المؤجَّلة.

الاختبار العدائي لا يقلّ أهمية عن اختبار الحالات العادية — قدّم عمدًا للنموذج استفسارات مصمَّمة لاستفزاز الهلوسة: أسئلة عن كيانات غير موجودة، طلبات تخلط بين سجلَّين معًا، موجِّهات تطلب منه الاستقراء إلى ما وراء المستند المصدري. فإذا لم يستطع الفشل بأناقة في اختبار مضبوط، فلن يفشل بأناقة في بيئة الإنتاج أيضًا.

تعامل مع هذا كخط أنابيب حيّ، لا كبوّابة تُجتاز مرّة واحدة. في كل مرّة تُغيّر فيها الموجّه، أو تستبدل النماذج، أو تُضيف مصدر مستندات جديد، أعِد تشغيل مجموعة التقييم وقارن أرقام الدقّة والامتناع الجديدة بخط الأساس قبل النشر. إنها الانضباط نفسه المتّبع في اختبار الانحدار في البرمجيات التقليدية — لكنه يختبر الحكم بدلاً من المنطق.

أي المهام تحمل أكبر مخاطر الهلوسة

لا تحمل كل مهمّة للذكاء الاصطناعي المخاطرة نفسها، لذا لا ينبغي توزيع ميزانية الضمانات بالتساوي أيضًا. التوليد المفتوح — صياغة بريد إلكتروني لعميل، تلخيص اجتماع، كتابة نصوص تسويقية — يترك مساحة للإبداع، لكن هذه المساحة نفسها هي بالضبط حيث تختبئ الهلوسة: إحصاءات مختلَقة، اقتباسات مُختَرعة، وعود لم تُقدّمها الشركة قطّ. هذه هي الفئة الأعلى خطرًا، لأنه لا يوجد مخرج "صحيح" ثابت يُقارَن به، بل فقط نطاق من المخرجات المقبولة.

يأتي استخراج البيانات الرقمية والمالية في مرتبة قريبة تاليًا. استخراج إجمالي من فاتورة، أو حساب خصم، أو استخراج رقم ضريبي — الأخطاء هنا صامتة (الرقم يبدو معقولاً) ومكلفة (تغذّي مباشرة حركة الأموال). أما الادّعاءات القانونية وشبه الطبية — الالتزامات التعاقدية، وبيانات الامتثال، ولغة الجرعات أو السلامة — فتنتمي إلى الفئة نفسها العالية الخطورة: أخطئ فيها مرّة واحدة، ولن يكون الضرر الناتج إحراجًا، بل مسؤولية قانونية.

في الطرف الآخر، يُعدّ الاستخراج المُهيكَل وفق مخطّط ثابت — تحليل هذه السيرة الذاتية إلى اسم/بريد إلكتروني/مهارات، أو تصنيف هذه التذكرة ضمن واحدة من 12 فئة، أو وسم هذه المعاملة برمز تاجر — منخفض المخاطر نسبيًّا. فمساحة النموذج للاختلاق أضيق لأن مساحة المخرجات مقيَّدة وسهلة التحقّق منها آليًّا: يمكنك التحقّق من وجود الفئة، وأن البريد الإلكتروني يحتوي على علامة @، وأن القيمة إحدى 12 خيارًا. ويسلك التصنيف ضمن مجموعة مغلقة صغيرة السلوك نفسه — حتى عندما يخطئ النموذج، فإنه يخطئ ضمن الحدود التي عرّفتها، وهو نمط فشل أرخص جوهريًّا.

استخدم هذا التدرّج لتحديد أين تُنفق جهد الضمانات. غالبًا ما يمكن تشغيل المهام منخفضة المخاطر ذات المخطّط المغلق بتحقّق خفيف وفحوصات عشوائية. أما المهام عالية الخطورة، المفتوحة أو الرقمية/القانونية، فتستحق كامل الحزمة الواردة في القسم السابق — الاستشهاد بالمصدر، وفحوصات القواعد، وإشراك الإنسان — قبل أن تسمح للأتمتة بلمس عميل أو دفتر حسابات.