AI 에이전트 플랫폼은 권한과 중단 기능까지 비교하세요
답변 품질 외에 권한, 승인, 실행 기록, 중단 기능을 확인하세요. 성공 시연뿐 아니라 권한 부족과 중복 실행 같은 실패 상황도 시험하세요. 같은 업무 시나리오로 비교하고, 실제 운영자가 추적할 수 있는지 보세요.
시연에서는 AI가 고객 문의를 읽고 답변을 만든 뒤 처리 상태까지 바꿉니다. 편리해 보입니다. 그런데 잘못된 고객의 상태를 바꾸려 한다면 어디서 막을 수 있을까요?
기업용 에이전트 플랫폼을 비교할 때는 답변 화면 바깥까지 봐야 합니다. 어디에 접근하고 무엇을 실행하며, 실패했을 때 누가 확인할 수 있는지가 운영에 영향을 줍니다.
모델 주위의 실행 구조를 확인합니다
모델은 다음 행동을 제안할 수 있습니다. 실제 시스템에서 그 행동을 수행하려면 도구 연결, 권한 확인, 실행 상태와 기록 관리가 필요합니다. 여기서는 이런 실행 환경과 제어 구조를 ‘하네싱’이라고 부르겠습니다. 제품마다 사용하는 용어와 제공 범위는 다를 수 있습니다.
고객 문의 처리를 예로 들면 역할을 이렇게 나눌 수 있습니다.
- 모델: 문의를 이해하고 필요한 자료와 다음 행동을 제안한다.
- 연결 도구: 허용된 고객 정보 조회나 처리 상태 변경을 수행한다.
- 실행 제어: 접근 권한, 승인 여부, 실패 처리와 기록을 관리한다.
프롬프트에 “조심해서 처리해”라고 쓰는 것만으로 시스템 권한이 제한되지는 않습니다.
네 가지 질문을 실제 동작으로 확인합니다
권한: 어디까지 할 수 있나요?
읽기만 필요한 업무에 쓰기 권한을 주지 않아도 되는지 확인합니다. 다른 고객이나 부서의 정보에는 접근할 수 없어야 합니다.
승인: 누가 실행을 결정하나요?
초안 작성과 외부 전송, 상태 변경을 구분할 수 있는지 봅니다. 승인 화면에 실제 전송 대상과 변경 내용이 보여야 판단할 수 있습니다.
기록: 무엇을 했는지 남나요?
실행한 도구, 입력, 결과, 오류를 추적할 수 있는지 확인합니다. 기록 자체에 민감한 정보가 과도하게 남지 않도록 접근 범위와 보관 방식도 봅니다.
중단: 실패하면 멈출 수 있나요?
연결 오류나 반복 실행이 발생했을 때 멈추고 담당자에게 넘길 수 있어야 합니다. 어느 단계까지 처리했는지 모르면 재실행 중 같은 작업을 두 번 할 수 있습니다.
성공 시연 다음에는 실패 상황을 넣습니다
공급사나 개발팀에 가상의 문의 처리 시나리오를 주고 다음 상황을 시험해 달라고 요청해 보세요.
- 접근 권한이 없는 고객 정보를 조회한다.
- 담당자가 상태 변경 승인을 거절한다.
- 같은 문의가 두 번 들어온다.
- 작업 도중 연결이 끊어진다.
좋은 확인 결과는 “오류가 없습니다”라는 설명보다, 실제로 차단되거나 멈춘 기록입니다. 중복 처리 여부와 재개 방법도 함께 확인합니다. 이는 특정 제품의 검증된 결과가 아니라 비교에 사용할 시험 제안입니다.
NIST의 생성형 AI 위험 관리 문서는 배포 후 모니터링, 오류 대응과 복구 체계를 다룹니다. 이런 항목을 우리 업무의 실행 시나리오로 바꾸면 제품 설명보다 구체적으로 비교할 수 있습니다. NIST 생성형 AI 위험 관리 문서
오늘 비교 중인 플랫폼 하나에 **“승인을 거절했을 때 실제로 무엇이 실행되고 무엇이 남나요?”**라고 물어보세요. 운영 방식을 확인하는 좋은 시작입니다.
FAQ
에이전트를 쓰려면 별도 플랫폼이 꼭 필요한가요?
아닙니다. 필요한 작업과 운영 범위에 따라 기존 도구나 간단한 작업 흐름으로 충분할 수 있습니다. 먼저 필요한 기능을 적고, 플랫폼이 그 문제를 얼마나 줄여주는지 비교하세요.
프롬프트에 금지 사항을 쓰면 권한 통제가 되나요?
지침은 도움이 되지만 강제 통제를 대신하지 못합니다. 실제 API와 계정 권한, 승인 절차에서도 허용 범위를 제한해야 합니다.
실행 기록을 많이 남길수록 좋은가요?
문제를 재현하고 책임 있는 사람이 확인할 만큼은 필요합니다. 동시에 개인정보와 비밀값이 불필요하게 저장되지 않도록 기록 범위, 접근 권한, 보관 기간을 정해야 합니다.