AX Ops 방법론

하네스 변경은 회귀로 검증한다

golden trajectory 없이는 운영 배포가 아니다

에이전트 장애는 모델보다 하네스 변경에서 자주 시작된다. golden trajectory, replay, tool mock을 묶어 배포 전 행동 회귀를 잡아야 운영이 흔들리지 않는다.

읽기 →

실행은 재구성돼야 한다

관측성은 대시보드가 아니라 증거 설계다

에이전트 운영의 핵심은 실패를 본 뒤 실행을 다시 조립할 수 있느냐다. trace·journal·토큰 회계가 없으면 개선도 책임도 비용 통제도 추측으로 남는다.

읽기 →

우리 회사는 같은 단어를 같은 뜻으로 쓰고 있는가

마이크로소프트가 공개한 온톨로지 학습 도구, 설치 없이 5분이면 감이 온다

영업은 계약, 재무는 수주, 현장은 건이라 부른다. 사람은 알아듣지만 에이전트는 못 알아듣는다. 마이크로소프트가 이 문제를 다루는 학습 도구를 무료로 공개했다. 브라우저에서 5분 만에 확인하는 법과, 우리 회사에 지금 적용할 수 있는 것과 없는 것을 정리했다.

읽기 →

트레이스는 켜고 내용은 숨겨라

에이전트 운영의 기본값은 수집과 마스킹이다

에이전트 장애는 로그만으로 복기되지 않는다. 그러나 prompt, tool args, reasoning, PII를 한 덩어리로 저장하는 순간 운영 데이터는 보안 리스크가 된다.

읽기 →

산출물은 파일이 아니라 증거다

에이전트 결과물은 재현 가능해야 배포된다

에이전트가 만든 보고서와 코드는 결과 파일만으로는 운영 자산이 아니다. 코드, 환경, 입력 해시, 실행 로그를 한 묶음으로 배포해야 검토·재현·책임 추적이 가능하다.

읽기 →

장기 작업은 상태를 찢어야 산다

재개와 폐기는 같은 저장소에서 풀 수 없다

장기 에이전트 작업의 실패는 모델보다 상태 설계에서 먼저 터진다. reasoning state, 대화 state, 감사 로그를 분리해야 재개·폐기·감사를 동시에 운영할 수 있다.

읽기 →

압축 손실은 재연으로 잡는다

요약이 아니라 결정 품질을 검증한다

긴 에이전트 세션의 compaction은 비용과 문맥 한계를 줄이지만, 결정 근거를 지운다. AX Ops에서는 reconstruction probe와 decision replay로 압축 전후의 의미 손실을 측정한다.

읽기 →

성공도 실패로 쪼개야 한다

완료율만 보면 금지된 성공이 숨는다

에이전트 평가는 task completion과 policy compliance를 분리해야 한다. 그래야 일을 끝냈지만 권한·보안·업무 규칙을 어긴 unsafe-success를 운영 전에 잡는다.

읽기 →

고치기 전에 증거를 요구하라

수정 루프의 기본값은 보존이다

Self-correction은 ‘다시 생각해’가 아니다. Verifier가 결함 증거를 내기 전까지 답을 보존하고, 증거가 있을 때만 국소 수정하는 운영 루프다.

읽기 →

Agent Card는 계약이다

A2A v1 적합성은 실행 테스트로 증명한다

A2A Agent Card는 소개 문서가 아니라 호출 계약이다. supportedInterfaces, auth scheme, streaming·push 선언은 TCK에서 실제 요청으로 깨뜨려 봐야 운영에 올라간다.

읽기 →

전체 로그보다 델타가 싸다

Agent rollout 비교는 상태 변화로 줄여야 한다

test-time scaling은 rollout을 늘릴수록 비용과 판정 난도가 같이 오른다. 전체 로그를 다시 읽히지 말고, compact state delta로 trajectory sketch를 만들고 그 스케치를 re-ranking해야 운영비가 잡힌다.

읽기 →

검증도 라우팅해야 산다

위험도별 reward 선택이 운영 품질을 만든다

에이전트 운영의 병목은 생성이 아니라 검증이다. 테스트, rubric, 사용자, agent verifier를 하나로 묶고 작업 위험도별로 라우팅해야 reward가 운영 통제 장치가 된다.

읽기 →