AX 업체 선정 기준: 계약 전에 다섯 가지를 확인하세요

AX 업체와의 첫 미팅에서 이 질문을 해보세요.

“실제 사용자가 이 AI로 어떤 일을 하고 있는지 보여주실 수 있나요?”

어떤 자료를 넣고, 어떤 결과를 받고, 사람이 무엇을 확인한 뒤 업무를 마치는지까지 보면 업체의 경험이 드러납니다. 여기에 사용자의 수정 요청이 다음 작업에 어떻게 반영되는지 확인하면 도입 이후의 모습도 그려볼 수 있습니다.

AX는 AI를 실제 업무에 연결하는 일입니다. 따라서 업체 선정의 기준도 업무를 이해하고, 구현하고, 사용자의 피드백을 받아 계속 개선할 수 있는가에 맞춰야 합니다.

AIPM은 기업 업무 자동화와 개인별 에이전트 개발, 현업 교육 경험을 바탕으로 다음 다섯 가지 기준을 제안합니다. 특정 업체의 우열을 미리 정하는 점수표가 아니라, 우리 업무에 맞는 경험과 실행 조건을 확인하는 방법입니다.

1. 실제 업무가 끝나는 과정을 확인하세요

견적 비교 AI를 예로 들어보겠습니다. 아래는 업체를 평가하기 위해 새로 구성한 가상 예시이며, 특정 고객의 실제 견적이나 실행 결과가 아닙니다.

여러 견적서를 읽고 표를 만드는 화면을 확인했다면, 다음에는 단가 기준이 다른 경우나 납기가 빠진 경우를 보여달라고 요청해보세요. 잘못 읽은 항목을 누가 고치는지, 수정한 결과를 구매 담당자가 어떻게 사용하는지도 확인해야 합니다.

같은 품목인데 한 견적서는 개당 가격, 다른 견적서는 상자당 가격이라고 가정해봅시다. 수량과 단위를 확인하지 않고 낮은 숫자에 추천 표시를 붙였다면 추가 검토가 필요합니다. 비교 기준이 다른 항목을 표시하고, 누락된 조건을 확인한 뒤 담당자가 결과를 확정하는 과정까지 살펴보세요.

실제 자료에서 AI 결과, 사람의 검토와 업무 완료로 이어지는 흐름과 피드백 반영을 설명한 개념도

이 과정을 보면 해당 업체가 어디까지 구현했고 어디부터 사람의 개입이 필요한지 알 수 있습니다. 그림은 확인할 범위를 설명한 개념도이며, 고객의 실제 운영 화면은 아닙니다.

AIPM은 국내 대기업의 부서별 과제에서 일일 리포트, 견적 비교, 화주사별 정산서 생성 등을 구현했습니다. 이러한 사례는 입력 자료부터 결과물까지 구체적으로 살펴볼 수 있습니다. AIPM 수행 사례

업체에는 다음과 같이 요청하면 됩니다.

“입력 자료부터 최종 결과물까지 보여주세요. 실제 운영 중인 부분과 아직 검증 중인 부분도 구분해주세요.”

고객사 이름과 로고에 더해 그 프로젝트에서 무엇을 직접 수행했는지 확인하는 것이 중요합니다. 교육, 구현 지원, 직접 개발, 운영은 서로 다른 경험입니다. 결과물에 접근할 수 없는 경우에는 비공개 내용을 가린 화면이나 공개 가능한 표본으로 확인할 범위를 협의하세요.

2. 사용자의 피드백이 다음 업무에 남는지 보세요

사람마다 좋은 결과의 기준은 다릅니다. 경영진은 결정할 사안과 근거를 먼저 보고 싶어 하고, 실무자는 누락된 자료와 다음 행동이 필요할 수 있습니다. 같은 보고서라도 어떤 사람은 숫자의 변화를, 다른 사람은 예외 상황을 먼저 확인합니다.

개인에게 맞는 AI를 만들려면 이런 차이가 실제 동작에 반영돼야 합니다. 이를 확인하는 좋은 방법은 사용자의 피드백이 다음 작업으로 이어지는 과정을 보는 것입니다.

앞의 견적 비교 예시에서 “가격뿐 아니라 납기도 함께 표시해달라”고 수정 요청을 했다고 가정해봅시다. 다음 견적에서도 이 기준이 적용되는지 확인하세요. 이번 거래에만 해당하는 조건과 이후에도 유지할 기준을 구분할 수 있는지도 봅니다.

수정 요청이 어디에 저장되는지, 누구의 업무에 적용되는지, 잘못 저장된 기준을 사용자가 고칠 수 있는지까지 확인하면 유지할 수 있는 맞춤 기능인지 판단하기 쉽습니다. 한 사람의 선호가 팀 전체의 규칙으로 적용되지 않도록 범위를 구분하는 일도 필요합니다.

AIPM의 Kibi는 제품 정보와 마케터의 피드백을 기억하며 광고 기획, 대본 작성, 영상 제작을 함께하는 에이전트입니다. 이처럼 반복해서 함께 일하는 구조는 개인별 AI를 평가할 때 확인할 만한 근거입니다. Kibi 소개

“사용자가 지난번에 고쳐달라고 한 내용이 다음 작업에 어떻게 반영되는지 보여주세요.”

매번 배경과 기준을 처음부터 설명해야 한다면, 그 설명에 드는 시간도 도입 비용에 포함해야 합니다.

3. 실제 데이터에 접근할 계획을 확인하세요

프로젝트를 시작하면 구체적인 문제가 등장합니다. 필요한 문서는 개인 이메일에 있고, 최신 숫자는 엑셀에 있으며, 실제 판단 기준은 담당자의 머릿속에 있을 수 있습니다. 업무를 잘 아는 사람과 시스템 접근을 승인할 수 있는 사람이 서로 다를 수도 있습니다.

이 조건을 확인해야 구현 일정도 현실적으로 정할 수 있습니다. 업체가 첫 단계에서 어떤 자료를 살펴볼지, 누구를 인터뷰할지, 어떤 접근 권한이 필요한지 설명하는지 확인하세요. 고객이 준비할 일과 업체가 직접 수행할 일도 나뉘어 있어야 합니다.

견적 비교 업무라면 최근 견적서 표본, 비교 기준, 담당자가 수정한 결과부터 확인할 수 있습니다. 그다음 새 견적이 들어오는 위치와 접근 승인권자, 최종 검토자를 연결합니다. 처음부터 전체 시스템을 연동해야 한다고 가정하지 않고 첫 검증에 필요한 범위를 정합니다.

특히 경영진 개인 AI를 도입한다면 본인의 일하는 방식을 확인할 시간과 데이터 접근을 조율할 담당자가 필요합니다. 이 과정이 제안에 포함돼 있어야 경영진도 자신의 참여 범위를 예상할 수 있습니다.

“첫 2주에 저희가 누구와 어떤 자료를 준비해야 하고, 귀사는 무엇을 직접 확인하나요?”

2주는 초기 계획을 설명받기 위한 예시 기간입니다. 실제 준비 기간은 업무와 접근 조건에 따라 정해야 합니다. 비밀번호를 전달하는 방식이 아니라 필요한 자료와 작업 범위에 맞는 권한 부여 방법을 확인하세요.

데이터 접근이 어려운 경우의 대안도 물어보세요. 허용된 표본 자료로 먼저 검증할 수 있는지, 실제 데이터 연결 후 무엇을 다시 평가할지까지 설명할 수 있어야 합니다.

4. 검토와 수정까지 포함해 효과를 평가하세요

AI가 빠르게 답변하더라도 담당자가 처음부터 다시 확인해야 한다면 실제로 확보되는 시간은 작을 수 있습니다. 업체를 평가할 때는 생성 속도와 함께 검토, 수정, 예외 대응을 포함한 전체 업무시간을 보아야 합니다.

AIPM은 업무의 적용 가치를 살펴볼 때 TRRQ라는 네 가지 질문을 사용합니다. 업체 비교에서도 같은 기준으로 질문하면 기대 효과와 필요한 조건을 나누어 볼 수 있습니다.

• Time, 시간: 현재 한 건에 얼마나 걸리며, 도입 후 사람의 작업시간은 얼마나 줄어드는가?
• Repetition, 반복 빈도: 같은 방식으로 처리할 수 있는 일이 얼마나 자주 발생하는가?
• Risk, 실패 영향: 잘못 처리했을 때 어떤 문제가 생기며, 어디에서 사람이 확인해야 하는가?
• Quality, 품질: 실제 업무에 사용하려면 어떤 정확성과 완성도를 충족해야 하는가?

견적 비교라면 가격을 추출하는 시간뿐 아니라 단위를 맞추고 누락 조건을 확인하는 시간도 측정합니다. 비교표가 완성되는 것과 구매 결정을 할 수 있는 상태에 도달하는 것은 구분해야 합니다.

자주 반복되는 업무라도 오류의 영향이 크면 실행 범위를 제한해야 할 수 있습니다. 반대로 한 건의 절감 시간이 작아도 적용 건수가 충분히 많으면 유의미한 효과가 생길 수 있습니다. 시간 절감만으로 품질 기준이나 실패 영향을 대신 평가하지는 않습니다.

파일럿을 시작하기 전에 기존 방식과 비교할 자료, 성공 기준, 확대 여부를 결정할 조건을 정해두세요. 같은 업무 범위에서 직접 작업한 시간을 비교하고, 새로 생긴 운영 부담도 기록합니다.

“사람이 검토하고 수정하는 시간까지 포함해, 도입 전후를 어떻게 비교하나요?”

이 질문에 답할 수 있어야 다음 투자도 근거를 가지고 결정할 수 있습니다. 예상 절감 효과와 실제로 측정한 결과는 구분해서 받아보세요.

5. 사용 이후의 개선 책임까지 확인하세요

사용을 시작하면 처음에는 보이지 않던 요구가 나옵니다. 보고서 항목이 바뀌고 새로운 예외가 발견되고 담당자가 교체됩니다. 사용자가 피드백을 전달하는 방법을 몰라 같은 불편을 반복할 수도 있습니다.

계약 전에는 이런 변화에 누가 대응하는지 확인해야 합니다. 업무를 이해한 사람이 개선에도 참여하는지, 오류 수정과 기능 추가를 어떻게 구분하는지, 운영 비용에는 어디까지 포함되는지 살펴보세요.

견적 비교 도구라면 새 양식이 들어왔을 때의 대응이 좋은 확인 사례입니다. 사용자가 표본을 전달하면 누가 문제를 재현하고, 수정 후 기존 양식에서도 정상 동작하는지 확인하는지 물어보세요. 담당자의 부재나 계약 종료 시에는 무엇을 인계받는지도 정합니다.

현업이 스스로 다룰 수 있도록 돕는 역량도 중요합니다. AIPM은 한 건설사업관리기업에서 참가자들이 자신의 업무용 AI 도구를 만들도록 문제 정의부터 제작과 최종 발표까지 교육과 멘토링을 제공했습니다. 이 사례에서 도구를 직접 만든 주체는 참가자이며, AIPM은 구현을 지원했습니다. 교육과 멘토링 수행 사례

“사용자가 원하는 결과가 나오지 않을 때, 누가 업무를 다시 확인하고 무엇을 고쳐주나요?”

운영 책임이 분명하면 고객도 개선 요청을 어디에 전달하고 어떤 결과를 기대할지 알 수 있습니다. 비교 견적에는 초기 구축비와 함께 이용료, 운영 지원, 추가 변경 비용의 범위를 나눠 적어달라고 요청하세요.

같은 업무 하나로 업체의 답을 비교하세요

AX 파트너를 만날 때는 실제 업무 자료 하나를 준비해보세요. 반복해서 작성하는 보고서, 비교에 시간이 걸리는 견적서, 자주 되돌아오는 요청이면 충분합니다.

같은 자료와 질문을 제시하고 아래 양식에 답을 기록하세요. 화려한 설명보다 확인한 증거와 아직 남은 조건을 구분하는 데 목적이 있습니다.

• 실제 수행 경험: 누가 어떤 업무에 쓰는가 / 확인한 결과물 / 시연과 운영의 구분
• 맥락과 피드백: 저장되는 기준 / 다음 작업에서 확인한 변화 / 적용 대상과 수정 방법
• 데이터 접근: 필요한 자료 / 고객과 업체의 담당자 / 권한과 초기 참여 시간
• 효과 검증: 현재 시간과 반복 빈도 / 품질과 실패 영향 / 같은 조건의 비교 방법
• 운영과 개선: 책임자 / 오류 수정과 추가 개발의 범위 / 운영 비용과 인계 항목

답변은 “확인한 증거”, “구현 계획”, “미확인”으로 구분해 적으면 됩니다. 예를 들어 “새 견적 양식도 처리할 수 있다”는 설명만 들었다면 계획으로 남깁니다. 준비한 표본으로 결과를 확인했다면 그 자료와 확인 범위를 함께 기록합니다. 한 번의 성공을 모든 양식에 대한 검증으로 확대하지 않습니다.

AIPM이 가진 기업 반복 업무 자동화, 사용자별 에이전트 개발, 현업 교육 경험도 이 기준으로 살펴볼 수 있습니다. 중요한 것은 각 경험이 이번 업무의 어떤 부분을 해결하는 데 연결되는지 확인하는 일입니다.

오늘은 후보 업체에 같은 자료 하나와 위 다섯 가지 질문을 보내보세요. 돌아온 답에서 이미 확인할 수 있는 부분과 첫 파일럿에서 검증할 부분을 나누면, 다음 미팅에서 결정할 범위가 구체화됩니다.