AI 환각 잡기: B2B 팀을 위한 3가지 가드레일

실제 B2B 워크플로에서 AI 환각은 어떻게 나타나는가

환각은 모델이 자신감 있게 들리지만 틀린 답을 생성하는 현상입니다. B2B에서는 세 가지 전형적 형태로 나타납니다: (1) 지원 문의에 대해 존재하지 않는 주문 번호를 만들어내기, (2) 계약을 요약할 때 실제로 계약에 없는 날짜를 "인용"하기, (3) 정의된 집합 밖의 새로운 카테고리를 발명해 송장을 분류하기.

세 가지 모두 같은 패턴을 공유합니다: 진짜 앵커를 찾지 못하면 모델은 공백을 채웁니다. 문제는 출력이 확신에 차 보인다는 점입니다 — 틀렸을 때조차. "AI가 틀렸다"는 행동으로 이어지지 않습니다; 어디서 왜 틀렸는지 잡아내야 합니다. 아래 세 가지 가드레일이 그것을 합니다.

세 가지 가드레일: 출처, 규칙, 사람

1) 출처 인용: 모델은 모든 답변을 소스 문서의 ID 또는 줄 번호와 함께 반환합니다. 출처가 없으면 "모르겠습니다"라고 답합니다. 환각이 약 80% 감소합니다.

2) 규칙 사전 검사: 출력이 도착하기 전에 도메인 규칙으로 검증 — 주문 번호가 8자리인가? 청구서 카테고리가 허용 목록에 있는가? 날짜 형식이 유효한가? 이런 저렴한 Python 검사가 대부분을 잡아냅니다.

3) 사람의 사전 승인: 고위험 작업(환불, 계약 서명)은 AI가 제안하고 사람이 승인합니다. AI는 약 95%를 자체적으로 처리; 5% 예외는 검토를 위해 당신에게 라우팅됩니다.

세 가지 함께: 독립 제3자 감사에서 환각률이 2% 미만으로 떨어집니다.

출시 전에 평가(eval) 프로세스를 구축하기

결과물을 눈으로 훑어보는 것만으로는 할루시네이션 비율을 잡아낼 수 없습니다. 테스트 세트가 필요합니다. 정답이 알려진 실제 사례 50~200개로 구성된 골든 세트를 구축하고, 누락된 데이터, 모호한 질의, 범위 밖 요청 같은 예외 사례를 반드시 포함하십시오. 출시 시점뿐 아니라 프롬프트나 모델을 변경할 때마다 이 세트로 모델을 테스트하십시오.

두 가지 별개의 지표를 추적하십시오. 정확도(올바른 답을 냈는가)와 기권율(abstention rate, 모를 때 "모른다"고 올바르게 답했는가)입니다. 절대 기권하지 않는 모델은 자신감 있어 보이지만 더 위험하며, 너무 자주 기권하는 모델은 성가시지만 더 안전합니다. 적절한 임계값은 오답 비용을 회피된 답변의 비용과 비교했을 때 결정됩니다.

적대적(adversarial) 테스트는 일반 사례 테스트만큼이나 중요합니다. 할루시네이션을 유발하도록 의도적으로 설계된 질의를 모델에 입력해보십시오. 존재하지 않는 대상에 대한 질문, 두 개의 레코드를 뒤섞는 요청, 원본 문서 범위를 벗어나 추론하도록 요구하는 프롬프트 등입니다. 통제된 테스트에서조차 우아하게 실패하지 못한다면, 실제 운영 환경에서도 우아하게 실패하지 못할 것입니다.

이를 한 번만 거치는 관문이 아니라 살아 있는 파이프라인으로 다루십시오. 프롬프트를 바꾸거나, 모델을 교체하거나, 새로운 문서 소스를 추가할 때마다 평가 세트를 다시 실행하고, 배포 전에 새 정확도와 기권율 수치를 기존 기준선과 비교하십시오. 이는 전통적인 소프트웨어의 회귀 테스트와 같은 원칙이며, 다만 로직이 아니라 판단력을 테스트한다는 점이 다를 뿐입니다.

어떤 작업이 가장 높은 할루시네이션 리스크를 안고 있는가

모든 AI 작업이 동일한 리스크를 안고 있는 것은 아니므로, 가드레일 예산 역시 균등하게 나눠서는 안 됩니다. 고객 이메일 작성, 회의 요약, 마케팅 카피 작성 같은 개방형 생성 작업은 창의성을 위한 여지를 남기지만, 바로 그 여지가 할루시네이션이 숨는 자리이기도 합니다. 지어낸 통계, 없는 인용문, 회사가 한 적 없는 약속 같은 것들입니다. 이는 대조할 고정된 "정답" 결과물이 없고 오직 허용 가능한 범위만 존재하기 때문에, 리스크가 가장 높은 범주입니다.

숫자 및 재무 데이터 추출이 그 뒤를 바짝 따릅니다. 송장에서 합계를 뽑아내거나, 할인을 계산하거나, 세금 ID를 추출하는 작업에서 발생하는 오류는 조용히 숨어 있고(숫자가 그럴듯해 보이므로) 값비쌉니다(곧바로 돈의 흐름에 반영되기 때문입니다). 계약상 의무, 컴플라이언스 진술, 용량이나 안전 문구 같은 법률 및 의료 인접 주장 역시 같은 고위험 등급에 속합니다. 한 번이라도 틀리면 그 결과는 단순한 민망함이 아니라 법적 책임(liability)이 됩니다.

반대쪽 끝에는, 고정된 스키마에 대한 구조화된 추출 작업이 있습니다. 이력서를 이름/이메일/기술 항목으로 파싱하거나, 티켓을 12개 카테고리 중 하나로 분류하거나, 거래에 가맹점 코드를 태그하는 작업은 상대적으로 리스크가 낮습니다. 출력 공간이 제한되어 있고 기계적으로 쉽게 검증할 수 있기 때문에 모델이 지어낼 여지가 적습니다. 카테고리가 실제로 존재하는지, 이메일에 @ 기호가 있는지, 값이 12개 옵션 중 하나인지 확인할 수 있습니다. 작은 폐쇄 집합으로의 분류도 마찬가지입니다. 모델이 틀리더라도 정의된 경계 안에서 실패하며, 이는 근본적으로 훨씬 저렴한 실패 양식입니다.

이 리스크 경사도를 활용해 가드레일 노력을 어디에 쏟을지 결정하십시오. 저위험, 폐쇄 스키마 작업은 대개 가벼운 검증과 표본 점검만으로 충분합니다. 고위험, 개방형 또는 숫자/법률 관련 작업은 자동화가 고객이나 장부에 손대기 전에, 앞 섹션에서 다룬 전체 스택 — 출처 인용, 규칙 검사, 휴먼인더루프 — 을 갖출 가치가 있습니다.