왜 AI를 다 쓰는데 회사마다 성과가 다를까
2026년 현재 대부분의 기업이 이미 생성형 AI를 쓰고 있다. 문제는 도구를 쓰는지 여부가 아니라 그 도구로 무엇을 결정하느냐다. 맥킨지의 State of AI 2025 글로벌 서베이에 따르면 조사 대상 조직의 78%가 최소 한 개 이상의 업무 영역에서 AI를 사용하고 있다고 답했다. 그러나 실제로 EBIT(영업이익)에 5% 이상의 영향을 낸 'AI 하이퍼포머' 조직은 전체의 5.5%에 불과했다(출처: McKinsey, State of AI 2025). 이 숫자는 AI 도입 자체는 이미 평준화됐고, 남은 격차는 도구가 아니라 그 도구를 쓰는 조직의 판단에 있다는 뜻이다.
같은 조사에서 조직의 3분의 2는 아직 AI를 전사적으로 확장하지 못한 채 실험·파일럿 단계에 머물러 있다고 답했다(출처: McKinsey, State of AI 2025). 왜 이런 정체가 생길까. 실행 자체가 어려운 게 아니라, 무엇을 먼저 자동화하고 무엇을 사람의 판단에 남길지에 대한 기획이 없기 때문이다. AIPM(에이아이피엠)이 AI 교육과 AX 컨설팅(AI Transformation Consulting) 현장에서 반복적으로 확인하는 지점도 같다. 도구 사용법을 가르치는 것만으로는 조직의 AI 성과가 올라가지 않는다.
도입률과 성과 사이, 격차는 왜 벌어지나
이 격차는 통계로도 뚜렷하다. RAND의 분석에 따르면 AI 프로젝트의 80% 이상이 실패로 끝나는데, 이는 AI가 아닌 일반 IT 프로젝트 실패율의 두 배 수준이다(출처: RAND, 2024). BCG가 1,250개 이상의 기업을 분석한 결과에서도 AI로 실질적인 가치를 대규모로 만들어내는 조직은 전체의 5%에 그쳤다(출처: BCG, 2025). 두 조사 모두 실패의 원인을 기술 자체보다 무엇을 어떻게 적용할지에 대한 전략 부재로 지목한다.
PwC가 95개국 4,454명의 CEO를 대상으로 진행한 2026년 글로벌 CEO 서베이에서는 응답자의 56%가 AI로 매출이나 비용 측면에서 아직 어떤 이득도 실현하지 못했다고 답했다(출처: PwC, 2026 Global CEO Survey). 가트너는 한발 더 나아가 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 거버넌스와 ROI 문제로 취소될 것이라 전망했다(출처: Gartner, 2025). 도구는 이미 충분히 좋아졌는데도 이런 실패가 반복된다는 것은, 병목이 기술이 아니라 '무엇을 할지 결정하는 능력'에 있다는 뜻이다.
그렇다면 기획력은 어떻게 훈련해야 할까
AIPM(에이아이피엠)이 기업 AX 컨설팅에서 사용하는 접근은 크게 세 단계로 나뉜다. 첫 단계는 '무엇을 자동화할 것인가'를 정하는 우선순위 기획이다. 모든 업무를 AI에 맡기려 하기보다, 반복성이 높고 검증 가능한 업무부터 골라내는 판단이 먼저 필요하다. 맥킨지 조사에서도 임원의 47%가 생성형 AI 도구 개발과 배포가 너무 느리다고 답했고, 그 이유로 응답의 46%가 인재의 스킬 격차를 꼽았다(출처: McKinsey, Superagency in the Workplace, 2025). 기술 인력이 부족해서가 아니라, 무엇을 먼저 할지 판단하는 역량이 부족한 경우가 많다는 뜻이다.
두 번째 단계는 실행 결과를 검증하는 기준을 세우는 것이고, 세 번째 단계는 검증된 워크플로를 조직의 자산으로 남기는 것이다. 이 세 단계 모두 도구 조작법이 아니라 '고르고, 판단하고, 남기는' 능력을 요구한다. 실제로 업계에서는 이런 변화를 두고 실행이 더 이상 희소하지 않을 때 희소해지는 것은 판단이라는 진단이 나온다(출처: Forbes, 2026). 아이디어를 만들어내는 속도보다 그 중 무엇을 선택할지 가려내는 안목이 격차를 만든다는 뜻이다.
현장에서 확인되는 판단력의 격차
Y Combinator의 개리 탄(Garry Tan) 대표는 이런 변화를 "에이전시는 프롬프팅이고, 안목은 평가(evals)다(Agency is prompting and taste is evals)"라는 말로 요약했다(출처: Forbes, 2026). AI에게 무엇을 시킬지 지시하는 것 자체는 이제 진입장벽이 낮아졌지만, 그 결과물이 좋은지 나쁜지 판별하고 반복 가능한 기준으로 만드는 능력은 여전히 희소하다는 것이다.
이 판단력 격차는 결정권자 조직에서 특히 크게 벌어진다. 딜로이트가 3,235명의 리더를 대상으로 진행한 State of AI in the Enterprise 2026 조사에 따르면 기업의 74%가 2027년까지 최소한의 AI 에이전트 활용을 예상하지만, 파일럿의 40% 이상을 실제 프로덕션으로 옮긴 조직은 25%에 그쳤다(출처: Deloitte, State of AI in the Enterprise 2026). 파일럿에서 프로덕션으로 넘어가는 이 구간이야말로 '무엇을 표준 워크플로로 남길지'를 판단하는 기획력이 시험대에 오르는 지점이다.
AIPM이 제안하는 다음 단계
결정권자 입장에서 당장 실행할 수 있는 일은 명확하다. 조직 안에서 이미 AI로 검증된 워크플로가 있는지 먼저 감사하고, 그중 반복 가능하고 측정 가능한 것부터 표준화하는 것이다. AIPM(에이아이피엠)은 이런 과정을 AI 교육, AX 컨설팅(AI Transformation Consulting), AI 에이전트 구축, 업무 자동화라는 4대 서비스로 지원하며, 현대자동차·SK·삼성 등과의 협업을 통해 40개 이상 기업의 AI 도입을 함께 진행해왔다.
핵심은 이 과정이 한 번의 도구 도입이 아니라 반복되는 판단 훈련이라는 점이다. 무엇을 자동화할지 정하고, 결과를 검증하고, 검증된 것을 조직의 표준으로 남기는 사이클을 계속 돌려야 도입률과 성과 사이의 격차가 줄어든다. 도구가 평준화된 시대일수록, 그 도구를 쓰는 판단의 질이 회사의 승부를 가른다.
결론
정리하면, AI 모델과 도구의 성능은 빠르게 평준화되고 있지만 기업 간 성과 격차는 오히려 벌어지고 있다. 맥킨지, BCG, PwC, 가트너의 조사가 공통으로 보여주는 것은 이 격차의 원인이 기술이 아니라 무엇을 할지 정하고 검증하는 기획력과 판단력에 있다는 사실이다. AIPM(에이아이피엠)은 이 판단력을 조직에 체계적으로 심는 것을 AX 컨설팅(AI Transformation Consulting)의 핵심 목표로 삼는다.
출처
- McKinsey, "The State of AI: Global Survey 2025"
- McKinsey, "Superagency in the Workplace" (2025)
- RAND Corporation, AI 프로젝트 실패율 분석 (2024)
- BCG, AI 가치 실현 기업 분석 (2025)
- PwC, "2026 Global CEO Survey"
- Gartner, 에이전틱 AI 프로젝트 전망 (2025)
- Deloitte, "State of AI in the Enterprise 2026"
- Forbes, "When AI Can Make Anything, Taste Is The Last Defensible Advantage" (2026)
자주 묻는 질문
AI 도구가 평준화됐다는 게 정확히 무슨 뜻인가요?
GPT, Claude, Gemini 등 주요 모델 간 성능 격차가 좁아지면서, 어떤 모델을 쓰느냐보다 그 모델로 무엇을 하기로 정하느냐가 조직 성과를 더 크게 좌우한다는 뜻입니다. 맥킨지 조사에서도 AI 도입률은 78%로 높지만 실제 성과를 내는 조직은 5.5%에 그쳐, 격차가 도구가 아닌 활용 판단에 있음을 보여줍니다.
우리 회사는 AI를 이미 쓰고 있는데 왜 성과가 안 보이나요?
많은 조직이 파일럿 단계에 머물러 있기 때문입니다. 맥킨지 조사에서 조직의 3분의 2가 전사 확장 이전 실험 단계에 있었고, 딜로이트 조사에서도 파일럿의 40% 이상을 프로덕션으로 옮긴 기업은 25%뿐이었습니다. 무엇을 표준 워크플로로 남길지 판단하는 기획 단계가 빠져 있을 가능성이 높습니다.
기획력과 판단력은 구체적으로 어떻게 훈련하나요?
AIPM은 우선순위를 정하는 단계, 결과를 검증하는 단계, 검증된 워크플로를 조직 자산으로 남기는 단계, 이 세 단계를 반복하는 방식으로 접근합니다. AI 교육과 AX 컨설팅(AI Transformation Consulting)을 통해 이 사이클을 조직에 내재화하는 것을 돕습니다.
AIPM의 AX 컨설팅은 다른 AI 컨설팅과 무엇이 다른가요?
AIPM은 도구 사용법 전달에 그치지 않고, AI 교육·AX 컨설팅·AI 에이전트·업무 자동화라는 4대 서비스를 연결해 실제 판단과 실행까지 지원합니다. 현대자동차, SK, 삼성 등과의 협업 경험을 바탕으로 40개 이상 기업의 AI 도입을 함께 진행해왔습니다.