회의실에서 자주 보이는 장면이 있다. 팀원은 에이전트로 보고서 초안, 고객 메일, 리서치 메모를 빠르게 만든다. 그런데 평가는 여전히 ‘몇 건을 처리했는가’, ‘자료를 몇 장 만들었는가’에 묶여 있다. 속도는 올라갔는데 팀장은 더 불안해진다. 산출물이 많아졌기 때문이 아니라, 그 산출물을 누가 어떤 기준으로 믿었는지가 보이지 않기 때문이다.
에이전트는 산출물을 싸게 만든다
OpenAI는 2025년 엔터프라이즈 AI 보고서에서 기업 사용이 반복적·다단계 워크플로로 깊어지고 있다고 설명했다. 같은 보고서는 생산성만으로는 AI가 일을 바꾸는 방식을 충분히 설명하지 못한다고 적었다. 핵심은 더 빨리 쓰는 것이 아니라, 사람이 어떤 판단을 남기느냐다. (cdn.openai.com)
ChatGPT agent 발표도 같은 방향을 보여준다. 에이전트는 웹 탐색, 코드 실행, 분석, 문서·스프레드시트 산출까지 이어지는 복합 작업을 수행한다. Anthropic의 Agent Skills 역시 조직의 절차 지식과 맥락을 파일·폴더 단위로 패키징해 에이전트가 필요한 순간 불러 쓰게 한다. 산출물 생산은 점점 ‘개인 역량’이 아니라 ‘시스템 역량’이 된다. (openai.com)
그래서 기존 KPI는 팀을 잘못 움직인다. 산출물 건수를 보상하면 사람은 에이전트가 만든 것을 더 많이 쌓는다. 판단을 보상하면 사람은 에이전트가 놓친 전제, 리스크, 의사결정 포인트를 드러낸다.
에이전트와 일하는 팀에서 사람의 역할은 생산자가 아니라 판단의 소유자다.
새 KPI는 사람이 남긴 개입을 측정한다
KPI를 바꾼다는 말은 평가 문구를 세련되게 고치는 일이 아니다. 업무 로그에서 사람이 어디에 개입했고, 무엇을 승인했고, 어떤 기준으로 반려했는지를 남기는 운영 설계다.
| 기존 KPI | 에이전트 협업 KPI |
|---|---|
| 산출물 건수 | 승인·반려 판단의 근거 품질 |
| 처리 시간 | 예외를 조기에 발견한 시간 |
| 문서 완성도 | 의사결정에 쓸 수 있는 신뢰 수준 |
| 개인 생산성 | 인간-에이전트 핸드오프 품질 |
좋은 KPI는 세 가지 질문에 답한다.
- 에이전트가 만든 결과를 사람이 어떤 기준으로 신뢰했는가
- 사람이 어떤 예외를 발견해 흐름을 멈췄는가
- 다음 실행자가 재사용할 수 있는 판단 맥락이 남았는가
이 질문이 없으면 에이전트는 ‘일을 도와주는 도구’가 아니라 ‘검증되지 않은 산출물 생성기’가 된다.
팀장은 결과보다 판단 루틴을 관리해야 한다
에이전트 협업 팀의 팀장은 산출물의 마지막 문장만 보는 사람이 아니다. 판단 루틴을 설계하는 사람이다. 어떤 업무는 자동 승인하고, 어떤 업무는 사람 검토를 거치며, 어떤 조건에서는 반드시 상위자에게 에스컬레이션할지 정해야 한다.
Deloitte의 2025년 agentic AI 가이드는 에이전트가 의사결정 체인과 인터페이스를 따라 새로운 리스크를 키운다고 설명하며, 실시간 모니터링과 human-in-the-loop, 동적 감사의 필요성을 제시했다. MIT 연구진의 2026년 AI Agent Index도 공개된 에이전트 생태계에서 안전성·평가·사회적 영향 정보의 투명성이 충분하지 않다는 점을 지적했다. (deloitte.com)
현장에서 필요한 KPI는 거창하지 않다. 다음 네 가지면 시작할 수 있다.
- 판단 로그 충실도: 승인·수정·반려 사유가 남았는가
- 예외 발견률: 에이전트가 통과시킨 오류를 사람이 잡았는가
- 재사용 가능성: 다음 사람이 같은 판단을 반복하지 않아도 되는가
- 에스컬레이션 적시성: 늦게 보고하지 않았는가
이 지표들은 사람을 감시하기 위한 장치가 아니다. 에이전트와 함께 일할 때 사람의 기여를 다시 보이게 만드는 장치다.
참고는 운영 KPI로 연결해야 한다
이번 글에서 확인한 최근 자료는 모두 같은 방향을 가리킨다. 에이전트는 더 많은 산출물을 만들고, 조직은 더 많은 판단 지점을 갖게 된다. 따라서 팀 KPI는 ‘얼마나 만들었나’에서 ‘무엇을 믿고 실행했나’로 이동해야 한다.
참고 자료:
- OpenAI, The state of enterprise AI 2025 Report, 2025: https://cdn.openai.com/pdf/7ef17d82-96bf-4dd1-9df2-228f7f377a29/the-state-of-enterprise-ai_2025-report.pdf
- OpenAI, Introducing ChatGPT agent, 2025: https://openai.com/index/introducing-chatgpt-agent/
- Anthropic, Equipping agents for the real world with Agent Skills, 2025: https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills
- Deloitte, The agentification of the enterprise, 2025: https://www.deloitte.com/content/dam/assets-zone3/us/en/docs/services/consulting/2025/agentic-ai-enterprise-adoption-guide.pdf
- Staufer et al., The 2025 AI Agent Index, 2026: https://arxiv.org/abs/2602.17753
AX 전환은 도입 교육에서 끝나지 않는다. 역할, KPI, 검토 루틴, 운영 로그까지 바꿔야 현장에 남는다. 팀의 새 KPI를 설계하려면 AX Ops 방법론 →