지난 몇 분기 동안 임원회의에 올라오는 AI 프로젝트 보고서는 풍성한데, 분기 EBIT과 캐시플로 표는 조용하다. 현장에선 팀 단위 개선이 분명히 나오는데, 전사 재무 지표로 합치면 잡음처럼 사라진다. 모두가 같은 구간에 멈춰 서 있다.
‘88% 도입’은 성숙이 아니라 정체다
McKinsey 2025는 기업의 78~88%가 AI를 도입했다고 말한다. 동시에 전사 스케일에 도달한 조직은 약 23%뿐이라고 적시한다(https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai). 숫자는 분명하다. 양적 보급은 끝났지만, 질적 확장은 소수만 통과했다.
이 간극은 재무 관점에서 더 선명하다. 80%가 넘는 응답자가 “enterprise-wide EBIT에 의미 있는 영향 없음”이라고 말한다. 팀 단위 성과가 전사 KPI로 연결되지 않았다는 뜻이다. BCG는 60%가 “hardly any material value”만 얻고, 74%는 아직 측정 가능한 tangible value를 못 보여줬다고 정리한다(https://media-publications.bcg.com/The-Widening-AI-Value-Gap-October-2025.pdf, https://www.bcg.com/publications/2025/closing-the-ai-impact-gap).
PoC의 통과율도 착시를 만든다. Gartner는 2025년 말까지 GenAI 프로젝트의 약 30%가 PoC 단계에서 포기된다고 전망했다. 겉으론 70%가 통과하는 셈이지만, 통과가 곧 스케일을 보장하지 않는다. 대다수는 이른바 pilot purgatory에서 멈춘다.
스케일 조직은 네 가지를 먼저 고친다
파일럿을 많이 하는 조직과 스케일을 해낸 조직의 차이는 기술보다 운영이다. 리포트들이 공통으로 지목한 패턴은 명확하다.
- KPI 연결: 사전에 명확한 비즈니스 KPI와 단위경제를 정의하고, 모델 지표가 아닌 사업 지표에 성과를 귀속한다.
- 파이프라인 선행: PoC 단계부터 MLOps/AgentOps 파이프라인을 깔아 배포·관측·평가를 자동화한다. Astrafy가 말한 대로 실험용 배선이 아니라 조립 라인이 필요하다(https://astrafy.io/the-hub/blog/technical/scaling-ai-from-pilot-purgatory-why-only-33-reach-production-and-how-to-beat-the-odds).
- 70% 법칙 적용: BCG의 10-20-70. 알고리즘이 아니라 사람·프로세스·문화에 예산과 시간을 배분한다.
- 데이터 품질 선행 투자: 실패의 85%는 데이터 품질에서 시작한다. 결측, 드리프트, 라벨 노이즈를 운영 이슈로 다룬다.
PoC의 합격 기준은 데모가 아니라, KPI에 연결된 반복 가능한 운영 파이프라인이다.
결론은 단순하다. 모델을 바꾸기 전에 운영을 설계하고, 운영을 돌리기 전에 KPI를 잠근다.
파일럿 문화에서 운영 규율로: 무엇이 다른가
| 구분 | pilot purgatory 조직 | 스케일된 조직 |
|---|---|---|
| 목표 정의 | 신기능·정확도 시연 | 전사 KPI 개선(매출, 비용, 재고, 리드타임) |
| 성공 지표 | 정확도/클릭률/데모 통과 | EBIT/COGS/단위경제, 운영 안정성 SLO |
| 파이프라인 | 노트북·수작업 배포, 일회성 스크립트 | MLOps/AgentOps로 배포·롤백·관측 자동화 |
| 데이터 | 임시 추출·샘플 라벨링 | 데이터 계약, 품질 지표, 드리프트 모니터링 |
| 거버넌스 | 사후 보안·법무 승인 | 사전 가드레일, 릴리즈 게이트, 책임 매트릭스 |
| 인력·조직 | 프로젝트팀 중심, 소수 전문가 | 제품·운영 공동책임, HITL·지원 체계 내재화 |
| 예산 배분 | PoC 단위, 벤더 실험비 | 제품 라인 OPEX, 플랫폼·교육 70% 배분 |
| 운영 방식 | 성능 하락 대응 미흡 | A/B, 챔피언-챌린저, 드리프트 대응 루틴 |
| 통과 기준 | 데모 만족 | TTV·품질·운영비 단가 기준 충족 |
표의 오른쪽으로 이동하지 않으면 전사 재무지표는 꿈쩍하지 않는다. 스케일의 최소 단위는 모델이 아니라 운영이다.
지금 당장 바꿀 실행 순서
- 전사 KPI 2~3개를 고정하고 베이스라인·목표·단위경제를 명문화한다. 모델 지표는 보조다.
- 가드레일과 리스크 기준선을 먼저 세운다. 데이터 보호, 프롬프트 보안, 에스컬레이션·승인권자까지 포함한다.
- PoC 시작과 동시에 조립 라인을 깐다. 배포·관측·평가·롤백을 포함한 MLOps/AgentOps를 표준화한다.
- 데이터 품질 스프린트를 선행한다. 미싱 밸류, 스키마 드리프트, 라벨 노이즈를 검출·치유하고 데이터 SLO를 운영 계약에 넣는다.
- 단계 게이트를 운영한다. Stage 0~3로 나누고, 각 단계의 KPI 임팩트·안정성·운영비 기준을 통과해야 다음으로 간다.
요지는 간단하다. ‘더 좋은 모델’이 아니라 ‘더 좋은 운영’이 스케일을 만든다. AX Ops는 위 실행 순서를 표준 운영 체계로 고정해, 파일럿 습관을 운영 규율로 치환한다. AX Ops 방법론 →