Как спроектировать одобрение действий ИИ человеком
Резюме решения: Свяжите одобрение ИИ с конкретным результатом: карточка решения, версии, неясная отправка, пилотные тесты и передача ответственности.
Определите действие, требующее одобрения
Ассистент предложений может классифицировать запрос, составлять черновик и показывать ответственному. Подготовка и отправка клиенту — разные действия. В этом примере отправка требует одобрения конкретного предложения. Хороший текст не даёт права принимать коммерческие условия.
Для каждого действия определите ответственного, последствия и путь восстановления. Не объединяйте отправку, удаление и оплату под неопределённым «продолжить». Это пример проектирования, а не измеренный результат клиента.
Подготовьте карточку для решения
Покажите получателя, полный текст, названия и версии вложений, важные цены или даты и последствия действия. Предусмотрите одобрение, отказ и запрос исправлений. Сначала восполните недостающие сведения.
Свяжите согласие с показанной версией. Изменение получателя, текста или вложения требует нового решения. Фраза «я директор» в письме не подтверждает личность: полномочия задают проверенный пользователь и права приложения.
Не отправляйте повторно вслепую после тайм-аута
Присвойте каждому намерению отправки один идентификатор. Различайте подготовку, одобрение, отправку и неизвестный результат. Если связь оборвалась до ответа провайдера, сначала проверьте его запись или подтверждение. Не ставьте неизвестный результат автоматически на повторную отправку.
При поддержке используйте одинаковый ключ идемпотентности для той же операции и проверяйте срок его хранения. Собственный журнал не доказывает однократную обработку у получателя. Отправлено, доставлено и прочитано — разные свидетельства.
Проверьте нештатные сценарии
Подготовьте правильное одобрение, отказ, смену получателя после одобрения, истёкшее согласие и обрыв связи во время отправки. Запишите ожидаемое действие и проверяющего. Пять успешных проверок — начало, не доказательство безопасности при любых условиях.
Сравнивайте с ручным процессом правильно завершённые задачи, исправления, дубли и ожидание человека. Учитывайте проверку и устранение ошибок. Скорость черновика сама по себе не доказывает рост производительности.
Сделайте передачу и остановку видимыми
У очереди должны быть ответственный и доступный заместитель. Срок согласия выбирайте по риску действия. При передаче показывайте состояние, одобренную версию и оставшуюся неопределённость. Пауза должна прекращать новые внешние действия.
OWASP рассматривает избыточные полномочия. NIST AI RMF включает роли человеческого надзора. Выше предложен наш вариант реализации. Начните с реального процесса, карточки решения и порядка действий при сбое.
Методология
Утверждения оцениваются по реализуемости, стоимости, риску и измеримости. Примеры расчётов — допущения; юридические и безопасностные решения требуют первичных источников.
Примечание об источниках
Ссылки и названные документы — отправные точки. Непроверенные результаты клиентов не публикуются.
Журнал изменений
— Нативная редакторская проверка ожидает у шлюза публикации v3.0.
Частые вопросы
Каждый результат ИИ требует согласия?
Решайте по последствиям. Разделяйте внутренние черновики и внешнюю отправку, явно ограничивайте автоматические действия.
Что делать, если одобренный текст изменился?
Старое согласие не относится к новому тексту. Покажите изменённую версию уполномоченному человеку для нового решения.
Повторять отправку с неизвестным результатом?
Сначала исследуйте запись провайдера. Автоматическая попытка может выполнить действие дважды.