← 블로그 AX Ops 방법론

실행은 재구성돼야 한다

관측성은 대시보드가 아니라 증거 설계다

AX LABS 2026.07.27 6분 읽기

현장에서 에이전트 PoC가 운영으로 넘어갈 때 가장 먼저 무너지는 지점은 모델 성능이 아니다. 장애가 난 뒤 아무도 실행을 다시 설명하지 못한다. 어느 instruction이 들어갔는지, 어떤 tool이 호출됐는지, 왜 같은 요청이 더 비싸졌는지, 사람 승인은 어디서 끼어들었는지 흩어진 로그로 맞춘다. 이 상태에서는 개선 회의가 원인 분석이 아니라 기억력 경쟁이 된다.

관측성은 화면이 아니라 재현 가능한 증거다

일반 애플리케이션 로그만으로 에이전트 실행을 설명할 수 없다. 에이전트는 한 번의 요청 안에서 모델 호출, tool 호출, retrieval, memory read/write, handoff, guardrail, human approval을 오간다. OpenAI Agents SDK는 LLM generation, tool call, handoff, guardrail, custom event를 trace로 수집하는 구조를 제공한다. OpenInference도 LLM call, agent reasoning step, tool invocation, retrieval을 OpenTelemetry 기반 distributed trace로 표현하자고 정의한다. (openai.github.io)

따라서 AX Ops의 계측 설계는 “로그를 남긴다”가 아니라 “사후 재구성 가능한 실행 원장을 만든다”다.

좋은 하네스 관측성은 에이전트가 한 일을 보여주는 것이 아니라, 왜 그렇게 했는지 다시 조립하게 만든다.

trace는 뼈대이고 journal은 맥락이다

trace는 실행의 골격이다. span은 agent run, model call, tool execution, retrieval, approval 같은 작업 단위를 시간 순서와 부모-자식 관계로 묶는다. OpenAI Agents SDK 문서도 span이 current trace 안에 자동으로 중첩된다고 설명한다. (openai.github.io)

하지만 trace만으로는 부족하다. 운영 리더가 알고 싶은 것은 latency만이 아니다. “왜 이 tool을 골랐는가”, “승인자가 무엇을 보고 막았는가”, “memory가 어떤 근거로 갱신됐는가”가 필요하다. 이것이 journal의 역할이다.

계층	남기는 것	사후 질문
trace	span, 시각, 부모-자식 관계, 오류	어디서 멈췄나
journal	의사결정 메모, 승인 사유, memory 변경 이유	왜 그렇게 갔나
token ledger	요청별 input/output/cache token, 비용 attribution	무엇이 비용을 만들었나

Claude Agent SDK의 hooks는 실행 지점에 callback을 붙이는 방식으로 행위를 가로채고 통제할 수 있다. 이 구조를 단순 자동화가 아니라 journal 작성 지점으로 써야 한다. session 시작, tool 호출 전후, compaction 전, approval 전후가 journal의 최소 단위다. (code.claude.com)

토큰 회계는 비용표가 아니라 실행 품질 지표다

토큰은 비용 항목이면서 실행 행동의 흔적이다. OpenAI Agents SDK는 run별 usage를 hooks에서 접근해 requests와 total tokens를 기록할 수 있게 한다. OpenTelemetry의 2026년 GenAI observability 글도 gen_ai.usage.input_tokens, gen_ai.usage.output_tokens 같은 token count 속성을 LLM call 관측의 기본 요소로 다룬다. (openai.github.io)

토큰 회계는 월말 청구서를 맞추기 위해서만 존재하지 않는다. input token이 급증하면 context 주입, retrieval, memory, compaction 설계를 의심해야 한다. output token이 늘면 응답 정책과 중간 산출물 관리를 봐야 한다. 같은 task에서도 agentic coding 실행의 token 사용이 크게 흔들린다는 최근 연구는 비용 예측을 모델의 자기 보고에 맡기면 안 된다는 점을 보여준다. (arxiv.org)

토큰 ledger에는 최소한 다음 필드를 둔다.

run_id, trace_id, user/task, agent_version
model, provider, prompt/template version
input/output/cache token과 retry별 token
tool별 호출 횟수와 반환 payload 크기
비용 귀속: 부서, 업무, 고객, 제품 단위

참고는 설계를 검증하는 출발점이다

하네스 관측성의 결론은 단순하다. 에이전트 운영은 “잘 돌아간다”가 아니라 “나중에 설명된다”로 판단해야 한다. trace 없이 시간축이 없고, journal 없이 판단 맥락이 없고, token ledger 없이 비용 책임이 없다. 셋 중 하나가 빠지면 운영은 다시 감으로 돌아간다.

참고한 최근 12개월 내 1차·준1차 자료는 다음과 같다.