识别 AI 幻觉:B2B 团队的 3 道防护栏
AI 会出错——重要的是发现的速度。三道经过验证的护栏:来源引用、规则预检查、人工预批。让错误在进入生产前被拦住。
AI 幻觉在真实 B2B 工作流中是什么样子
幻觉指模型生成的答案听起来很确定但其实是错的。在 B2B 中通常以三种典型形态出现:(1) 在客服查询中编造一个不存在的订单号;(2) 在合同摘要中"引用"一段实际并不在合同里的日期;(3) 在发票分类中超出定义集合,生造一个新类别。
三种共享同一模式:当模型找不到真实锚点时,它会填补空白。问题在于输出看起来很有把握——即便错了。"AI 错了"不能落地为动作;要知道错在哪里、为什么错。下面三道护栏就是做这件事。
三道护栏:来源、规则、人工
1) 来源引用:模型在每条回答中附带来源文档的 id 或行号。没有来源就回答"我不知道"。幻觉下降约 80%。
2) 规则预检查:在输出落地之前用领域规则校验——订单号是 8 位吗?发票类别在白名单里吗?日期格式合法吗?这些便宜的 Python 检查能拦住大多数。
3) 人工预批:高风险动作(退款、合同签署)由 AI 提议、人工批准。AI 自动处理约 95%;剩下 5% 异常路由给你审查。
三者合用:在独立第三方审计中,幻觉率下降到 2% 以下。在 Setviva,我们把这套护栏作为标准包内嵌进每个客户项目——试点两周内可上线。