과제
한 금융 그룹의 리서치 데스크는 매일 시장 요약을 만들어 내부에 배포해야 했다. 사용 데이터는 사내 Bloomberg 피드, 외부 뉴스, 자체 애널리스트 리포트 — 세 채널이 분리된 형태로 들어왔다.
문제는 시간만이 아니었다. 누가 어떤 출처를 언제 참고했는지가 추적되지 않으면 외부 보고에 그대로 쓸 수 없었고, 같은 작업을 두 번 하는 구조가 반복되고 있었다. 정확도뿐 아니라 감사 가능성 이 운영 요건이었다.
접근
세 가지 원칙으로 설계를 잡았다.
- 단일 워크플로로 묶는다. 세 데이터 소스를 한 파이프라인에서 수집해 RAG 인덱스로 통합했다. 분석가는 하나의 인터페이스에서만 일한다.
- 응답은 출처에 묶인다. 모델이 출력하는 문장 단위로 인용 가능한 원문 링크를 보존하도록 설계했다. groundedness가 낮으면 응답을 만들지 않는다.
- 감사 추적은 사전 데이터 계약으로 다룬다. 어떤 필드가 어떤 출처에서 왔는지를 ingestion 단계에서 메타데이터로 기록하고, 외부 보고 단계까지 그대로 따라가도록 했다.
결과
일일 요약 생성을 에이전트가 담당하는 구조로 전환했다. 출처 추적은 운영 단계에서도 그대로 유지되어, 감사 점검 요청에 즉답이 가능한 상태로 자리잡았다. 외부 의존을 남기지 않도록 운영을 내부 IT 팀에 이관했다.