اصطياد هلوسات الذكاء الاصطناعي: 3 حواجز لفِرَق B2B

كيف تبدو هلوسات الذكاء الاصطناعي في سير عمل B2B الفعلي؟

الهلوسة هي أن يولّد النموذج إجابةً تبدو واثقة لكنّها خاطئة. في B2B تظهر بثلاث صور كلاسيكية: (1) اختراع رقم طلب غير موجود في استفسار دعم، (2) "اقتباس" تاريخ ليس في العقد فعلياً عند تلخيصه، (3) اختراع فئة جديدة عند تصنيف فاتورة خارج المجموعة المُعرَّفة.

الثلاث تتشارك النمط نفسه: حين لا يجد النموذج مرساةً حقيقية، يملأ الفراغ. المشكلة أنّ المخرج يبدو واثقاً — حتى لو كان خاطئاً. القول إنّ «الذكاء الاصطناعي مخطئ» لا يكفي؛ علينا معرفة أين ولماذا. الحواجز الثلاثة أدناه تفعل ذلك.

ثلاثة حواجز: المصدر، القاعدة، الإنسان

فحص المصدر: اعرض المستند والمقطع الداعم للإجابة؛ تحقق من أنه يثبت الادعاء، لا من وجود مرجع فقط. الأدلة المفقودة أو المتعارضة تستدعي المراجعة.

فحص القواعد: تحقق داخل التطبيق من وجود الطلب وصلاحية المستخدم والمبلغ والفئة المسموحة. التنسيق الصحيح لا يثبت صحة المعلومة.

الموافقة البشرية: قبل الدفع أو الاسترداد أو إرسال رسالة ملزمة، يجب أن يرى شخص مخول الناتج الدقيق. تغييره يتطلب موافقة جديدة. لا توجد نسبة نجاح عامة لهذه الضوابط. اختبر حالات صحيحة وخاطئة وبلا مصدر: يجب إيقاف الناتج غير الصالح وإحالة الحالات التي تحتاج إلى مراجعة إلى المسؤول.

بناء عملية تقييم قبل الإطلاق

لا يمكنك رصد معدّل الهلوسة بمجرّد النظر إلى المخرجات؛ أنت بحاجة إلى مجموعة اختبار. ابنِ مجموعة مرجعية من 50 إلى 200 مثال حقيقي بإجابات صحيحة معروفة، وتأكّد أنها تغطّي الحالات الاستثنائية — بيانات مفقودة، واستفسارات غامضة، وطلبات خارج النطاق. اختبر الإصدار الجديد على هذه المجموعة بعد كل تعديل على التعليمات الموجّهة للنموذج أو تغيير في النموذج، وقبل نشره، لا عند الإطلاق الأول فقط.

تتبّع مقياسين منفصلين: الدقّة، أي مدى مطابقة الإجابات للمرجع الصحيح، ومعدّل الامتناع، أي نسبة الحالات التي يختار فيها النموذج عدم الإجابة. قيّم أيضًا ما إذا كان الامتناع مناسبًا في كل حالة، وما إذا أجاب النموذج عندما كان ينبغي له الامتناع. النموذج الذي لا يمتنع أبدًا قد يقدّم إجابات غير مدعومة، لكن كثرة الامتناع لا تثبت وحدها أن النموذج أكثر أمانًا. تعتمد العتبات المناسبة على تكلفة الإجابة الخاطئة وتكلفة تأجيل الإجابة، وعلى نتائج المراجعة.

الاختبار العدائي لا يقلّ أهمية عن اختبار الحالات العادية — قدّم عمدًا للنموذج استفسارات مصمَّمة لاستفزاز الهلوسة: أسئلة عن كيانات غير موجودة، وطلبات تخلط بين سجلَّين، وتعليمات تطلب منه الاستنتاج بما يتجاوز المستند المصدري. فإذا لم يستطع التعامل مع الفشل بصورة آمنة في اختبار مضبوط، فلا تفترض أنه سيفعل ذلك في بيئة الإنتاج.

تعامل مع هذا كعملية تقييم مستمرة، لا كبوّابة تُجتاز مرّة واحدة. في كل مرّة تُغيّر فيها التعليمات، أو تستبدل النموذج، أو تُضيف مصدر مستندات جديدًا، أعِد تشغيل مجموعة التقييم على الإصدار المعدّل وقارن مقاييس الدقّة والامتناع بخط الأساس قبل النشر. هذا هو الانضباط نفسه المتّبع في اختبارات التراجع في البرمجيات التقليدية، لكنه يقيّم جودة الأحكام إلى جانب صحة منطق التنفيذ.

أي المهام تحمل أكبر مخاطر الهلوسة

لا تصنف الخطر بحسب كون النص حراً أو منظماً فقط. قد يسبب قيد محاسبي خاطئ ضمن فئة صحيحة ضرراً أيضاً. قيّم الأثر وإمكانية التراجع وحساسية البيانات ومن يعتمد على الناتج. إعداد المسودات لا يستلزم صلاحيات التواصل مع العملاء أو تحريك الأموال نفسها.