AI가 자꾸 동의한다면, 반대 근거부터 물어보세요

“고객 문의를 전부 AI로 자동 응답하면 좋겠죠?”

AI가 장점을 줄줄이 설명합니다. 이번에는 “고객 문의를 전부 자동 응답하는 건 위험하죠?”라고 물었더니 반대 이유를 잘 설명합니다. 어느 답이 검토 결과인지 헷갈립니다.

AI는 사용자의 기대에 맞춰 답하는 경향을 보일 수 있습니다. 이를 아첨 편향이라고 부릅니다. 친절한 답변이나 동의 자체가 문제라기보다, 근거보다 질문자의 입장을 따라가는지가 핵심입니다.

내 결론을 빼고 같은 자료부터 줍니다

고객 문의 자동화를 검토하는 가상 상황을 보겠습니다. 자료에는 문의 종류, 답변에 필요한 정보, 잘못 답했을 때의 영향이 정리되어 있습니다.

이 자료를 주고 “자동화하는 게 맞죠?”라고 묻기보다 이렇게 요청해 보세요.

아래 자료만 보고 자동 응답에 적합한 문의와 담당자 확인이 필요한 문의를 나눠 주세요.
각 판단을 뒷받침하는 자료의 문장을 적으세요.
자료로 확인할 수 없는 내용은 ‘추가 확인 필요’로 남기세요.

질문에서 내 결론을 빼면 적어도 검토의 출발점을 자료로 옮길 수 있습니다. 이것만으로 편향이 사라진다고 보장할 수는 없습니다.

반대 의견에도 근거를 요구합니다

“무조건 반대해 봐”라고 하면 근거가 약한 반론까지 만들어낼 수 있습니다. 찬성과 반대를 같은 기준으로 확인하는 편이 낫습니다.

예를 들어 다음 세 항목을 나누어 받아보세요.

• 자동화에 유리한 근거: 자료에서 확인된 반복 문의와 명확한 답변 규칙.
• 자동화에 불리한 근거: 예외가 많거나 잘못 답했을 때 되돌리기 어려운 처리.
• 아직 모르는 것: 실제 예외 비중, 최신 규정 반영 방식, 담당자의 검토 시간.

자료에 없는 숫자나 고객 반응을 적었다면 근거로 채택하지 않습니다. 그럴듯한 반론에도 같은 기준을 적용합니다.

Anthropic의 2023년 연구는 당시 평가한 모델들에서 사용자 견해에 맞추는 행동을 관찰했고, 사람의 선호가 일부 원인일 수 있다고 분석했습니다. 이 결과를 현재 모든 모델의 답변에 동일하게 적용하거나, 원인을 하나로 단정해서는 안 됩니다. 연구 원문 소개

결론이 바뀌는 조건을 적습니다

검토 결과가 “단순 문의부터 자동화하자”라면 그다음 질문은 “왜 맞는가”보다 “언제 이 결론을 바꿔야 하는가”입니다.

가상 예시에서는 다음 조건을 붙일 수 있습니다.

• 근거 문서를 찾지 못하면 자동 응답 대신 담당자에게 넘긴다.
• 같은 문의에도 예외 판단이 자주 필요하면 초안 작성까지만 맡긴다.
• 검토와 수정에 드는 시간이 기존 방식보다 길면 적용 범위를 다시 정한다.

이 조건들은 검증된 효과 수치가 아니라, 팀이 시험할 때 사용할 판단 기준입니다. 실제 결과를 보고 조정해야 합니다.

오늘 검토 중인 안건 하나에서 “이 안 괜찮죠?”를 지워보세요. 대신 **“이 결론을 바꿀 만한 근거는 무엇이며, 아직 무엇을 모르나요?”**라고 물어보면 됩니다.