현장에서 에이전트 PoC가 운영으로 넘어갈 때 자주 멈추는 지점이 있다. 데모에서는 “지난번 대화 기억”이 인상적이다. 운영에서는 바로 질문이 바뀐다. 어떤 기억을 믿을 것인가. 오래된 기억은 언제 폐기할 것인가. 여러 부서 시스템에서 온 사실이 충돌하면 무엇을 우선할 것인가.
여기서 장기 메모리는 기능이 아니라 운영 설계가 된다. 벡터 DB를 붙였다고 메모리가 생기지 않는다. 그래프를 썼다고 추론이 안정되는 것도 아니다. markdown 파일을 남겼다고 조직 지식이 관리되는 것도 아니다.
저장소가 아니라 실패 형태부터 봐야 한다
장기 메모리 백엔드는 “무엇을 잘 저장하느냐”보다 “어떤 실패를 줄이느냐”로 골라야 한다.
고객 응대 에이전트가 과거 문의와 현재 계약 조건을 섞는다면 시간성이 문제다. 개발 에이전트가 같은 실수를 반복한다면 작업 회고와 실패 로그가 문제다. 영업 에이전트가 사람, 계정, 제품, 의사결정자를 엮지 못한다면 관계 구조가 문제다.
장기 메모리 설계의 첫 질문은 “어디에 저장할까”가 아니라 “무엇을 잊으면 안 되고, 무엇을 반드시 잊어야 하는가”다.
이 질문 없이 벡터·그래프·파일을 고르면 운영 단계에서 메모리 부채가 쌓인다. 검색은 되지만 근거가 약하고, 오래된 사실은 남고, 에이전트는 자신이 왜 그 기억을 꺼냈는지 설명하지 못한다.
벡터·그래프·파일은 서로 대체재가 아니다
세 백엔드는 같은 층위의 대안이 아니다. 각각 잘하는 일이 다르다.
| 백엔드 | 강점 | 약점 | 맞는 메모리 |
|---|---|---|---|
| 벡터 기반 | 의미가 비슷한 조각을 빠르게 찾는다 | 최신성·관계·상태 변화를 스스로 보장하지 않는다 | 문서, FAQ, 과거 대화 조각 |
| 그래프 기반 | 사람·조직·상품·사건의 관계와 시간 변화를 다룬다 | 스키마와 업데이트 정책 없이는 복잡도만 커진다 | 계정 맥락, 상태 이력, 다자 관계 |
| 파일 기반 | 에이전트가 읽고 고치기 쉽고 Git·권한 체계와 맞다 | 검색·중복·정합성 관리를 별도로 설계해야 한다 | 프로젝트 규칙, 회고, 작업 로그 |
OpenAI의 현재 File Search는 파일을 vector store에 올리고 semantic search와 keyword search로 검색하는 구조다. 즉 “파일 검색”도 내부적으로는 벡터 기반 검색 설계를 포함한다. Zep의 Graphiti는 대화, 문서, 비즈니스 데이터를 시간 인식 그래프로 만들고 vector·full-text·graph traversal을 결합한다. Mem0도 2026년 들어 시간 서명과 현재·과거·예정 상태 구분을 전면에 내세운다.
방향은 명확하다. 운영형 메모리는 단일 저장소가 아니라 하이브리드가 된다.
파일 메모리는 가볍지만 하찮지 않다
파일 기반 메모리는 가장 덜 세련돼 보인다. 그러나 운영에서는 강하다. 이유는 단순하다. 사람이 검토하고, diff를 보고, 승인하고, 롤백할 수 있다.
Anthropic은 2026년 Managed Agents 글에서 세션, harness, sandbox를 분리하고, memory tool이 context를 파일에 써서 세션 간 학습을 가능하게 한다고 설명했다. Claude Code 계열에서도 CLAUDE.md 같은 파일은 프로젝트 규칙과 반복 명령을 담는 실용적 메모리로 쓰인다.
파일 메모리가 맞는 경우는 분명하다.
- 프로젝트별 운영 규칙이 자주 바뀐다.
- 에이전트가 실패 후 회고를 남겨야 한다.
- 사람이 승인한 지식만 장기화해야 한다.
- Git, 권한, 리뷰 프로세스와 연결해야 한다.
반대로 개인화된 고객 이력, 수많은 문의 조각, 복잡한 계정 관계를 파일만으로 다루면 금방 무너진다. 파일은 원장이지 검색 엔진이 아니다.
참고와 다음 행동
장기 메모리 백엔드는 하나를 고르는 문제가 아니다. AX Ops 관점에서는 세 층으로 나눈다. 먼저 벡터로 회수율을 만든다. 다음 그래프로 상태와 관계를 고정한다. 마지막으로 파일로 사람이 검토할 수 있는 운영 기억을 남긴다.
실무 설계는 다음 순서로 시작한다.
- 기억 유형을 사실, 선호, 작업 로그, 정책, 관계로 나눈다.
- 각 유형에 보존 기간과 폐기 조건을 붙인다.
- 에이전트가 직접 쓰는 기억과 사람이 승인하는 기억을 분리한다.
- 검색 결과가 실행 권한으로 바로 이어지지 않게 HITL 경계를 둔다.
참고 자료:
- Anthropic, “Scaling Managed Agents: Decoupling the brain from the hands”, 2026: https://www.anthropic.com/engineering/managed-agents
- OpenAI, “File search”, API Docs, 2026 현재 문서: https://platform.openai.com/docs/guides/tools-file-search/
- OpenAI, “Vector stores”, API Reference, 2026 현재 문서: https://platform.openai.com/docs/api-reference/vector-stores/create?api-mode=responses
- Zep, “Graphiti”, 2026 현재 문서: https://www.getzep.com/platform/graphiti/
- Mem0, “Introducing Temporal Reasoning in Mem0”, 2026: https://mem0.ai/blog/introducing-temporal-reasoning-in-mem0
장기 메모리는 에이전트의 지능이 아니라 운영 신뢰의 기반이다. 메모리 백엔드 선택부터 운영 룰까지 한 번에 설계해야 한다: AX Ops 방법론 →