구글에서 제시하는 AI의 기억 구조 설계 방법

"AI 에이전트가 그저 똑똑한 챗봇에 머물지 않고 진짜 '비즈니스 파트너'가 되려면 무엇이 필요할까요?"

이번에 발표한 구글의 스타트업을 위한 AI Agent 가이드라인에 의하면 주요 포인트는 '기억 설계'에 있습니다. 데이터는 에이전트의 단기 및 장기 기억을 위한 기반 역할을 합니다. 평소에도 저처럼 사람의 뇌와 AI의 발전을 비교하면서 보던 분들에게는 굉장히 흥미로운 인사이트라고 생각합니다.

구글은 프로덕션급 에이전트는 목적에 따라 철저히 분리된 '다층적 데이터 아키텍처(Multi-layered Data Architecture)'를 가져야 한다고 합니다.

AI 에이전트가 똑똑하게 일하기 위한 3+1 기억(Memory) 구조

1. 작업 기억 (Working Memory) :
초저지연 단기 기억 현재 진행 중인 작업이나 대화에 필요한 일시적인 정보를 관리하는 계층입니다. 고객과 대화할 때 즉각적으로 반응해야 하므로 극도로 낮은 지연 시간이 필수입니다. 매번 API를 부르는 대신 고속 캐싱(예: Memorystore)을 통해 자주 쓰는 결과를 저장해 두어 응답 속도와 운영 비용을 동시에 잡아야 합니다.

2. 장기 기억 (Long-term Memory) :
지식과 개인화의 영구적 기반 에이전트의 지능과 팩트 기반의 근거, 그리고 사용자 맞춤형 서비스를 가능하게 하는 영구적인 기억 장치입니다. 이는 빠르고 휘발성 있는 단기 기억과는 완전히 다릅니다.

RAG(검색 증강 생성)를 통해 사내 문서, 매뉴얼 등에서 검증된 사실을 꺼내옵니다

사용자 맥락 유지: 사용자와의 상호작용 기록을 문서형 DB에 저장하여, 앱을 껐다 켜도 대화와 작업의 연속성을 이어가게 합니다 (예: Firestore).

3. 트랜잭션 기억 (Transactional Memory) :
신뢰와 검증을 위한 장부 AI가 단순 안내를 넘어 '실제 행동'을 취할 때 가장 중요한 영역입니다. 에이전트가 결제를 승인하거나 시스템 설정을 변경하는 등의 중요한 비즈니스 조치를 취할 때, 이 변경 사항을 기록하는 시스템입니다. 강력한 데이터 일관성과 무결성(ACID 보장)을 제공하는 관계형 데이터베이스(예: Cloud SQL, Cloud Spanner)를 사용해 모든 에이전트 주도 작업을 확실하게 추적하고 검증 가능하게 만들어야 합니다.



💡 압축된 대화형 기억
시간이 지나 사용자와의 대화 기록이 수개월 치로 쌓이면 어떻게 될까요?
이 방대한 원시 데이터를 매번 AI에게 들이밀면 비용이 천정부지로 치솟고, AI가 오히려 혼란을 겪게 됩니다(context rot).
그래서 차세대 에이전트 아키텍처는 LLM을 활용해 긴 대화 내역에서 "이 고객은 직항을 선호함", "반려견 이름은 바둑이임"과 같은 핵심 사실과 취향만을 '압축(Distillation)'하여 저장합니다.
훨씬 작고 정제된 형태의 기억을 꺼내 쓰는 것이 확장성 있고 인간과 유사한(Human-like) 상호작용을 만드는 핵심입니다.
결국 뛰어난 AI 서비스를 만든다는 것은, 세상에서 가장 똑똑한 모델을 가져다 쓰는 것을 넘어 "어떤 기억을, 어디에, 어떻게 저장하고 꺼내어 쓰게 할 것인가"를 설계하는 AI 기억 엔지니어링의 문제입니다.