Ловимо галюцинації ШІ: 3 запобіжники для B2B-команд
ШІ помиляється — важлива швидкість виявлення. Три перевірені запобіжники: цитування джерела, перевірка правилами, людське схвалення. Зупиняйте помилки до прод.
Як виглядають галюцинації ШІ в реальних B2B-воркфлоу
Галюцинація — це коли модель генерує впевнено звучну, але неправильну відповідь. У B2B зустрічається в трьох класичних формах: (1) вигадує неіснуючий номер замовлення для запиту в підтримку, (2) "цитує" дату, якої немає в договорі, при підсумуванні, (3) винаходить нову категорію при класифікації рахунків поза заданим набором.
Усі три мають один патерн: без справжньої опори модель заповнює порожнечу. Проблема в тому, що вивід виглядає впевнено — навіть коли невірний. "ШІ помиляється" — недостатньо; треба знати де і чому. Три запобіжники нижче це роблять.
Три запобіжники: джерело, правило, людина
1) Цитата джерела: модель повертає кожну відповідь з id або номером рядка вихідного документа. Без джерела відповідає «не знаю». Галюцинації падають на ~80%.
2) Перевірка правилами: валідуємо вивід за доменними правилами до видачі — номер замовлення 8 цифр? Категорія рахунку в списку? Формат дати валідний? Ці дешеві Python-перевірки ловлять більшість.
3) Людське схвалення: ризиковані дії (повернення, підписання договору) пропонує ШІ, схвалює людина. ШІ робить ~95% сам; 5% винятків ідуть до вас на рев'ю.
Три разом: у незалежному аудиті відсоток галюцинацій падає нижче 2%. У Setviva ми вбудовуємо цей стек у кожен проєкт клієнта стандартно — пілот за два тижні.