개발자 대상 LLM Agent 서비스 개발 워크샵

롯데이노베이트에서 진행한 개발자 대상 LLM Agent 서비스 개발 워크샵입니다. 그룹사 IT 자회사 개발자를 대상으로 프로덕션급 Agent 아키텍처와 운영 패턴을 다뤘습니다.

안녕하세요, 권앤컴퍼니의 권기현입니다. 이번에는 롯데이노베이트에서 진행한 개발자 대상 LLM Agent 서비스 개발 워크샵을 소개하려고 합니다. 그룹사 계열사로 들어갈 Agent 서비스를 설계할 때 무엇을 고민해야 하는지에 대한 기록입니다.

기업의 LLM Agent 도입을 검색하다 이 페이지에 도착하셨다면, 비슷한 고민을 가지고 계실 가능성이 높습니다.

Agent 데모는 만들어 봤지만, 그룹사 계열사 환경에 들어갈 만큼의 안정성·운용 패턴이 잡히지 않았습니다.

계열사마다 사내 시스템·인증 정책이 달라, function calling을 어디서부터 표준화해야 할지 모릅니다.

Agent의 정확도와 비용을 무엇으로 측정해야 결재 라인 설득이 되는지 기준이 없습니다.

이 강의는 위 세 가지 질문에 대한 개발자·실무 관점의 답을 16시간 안에 정리해 드리는 과정으로 설계되었습니다.

한 줄 요약

워크샵 직후부터 사내에서 바로 PoC 시작이 가능한 Agent 아키텍처·RAG·function calling·운용 패턴을 한 번에 다룹니다.

그룹사 IT 자회사 개발자가 계열사 환경에 가져갈 수 있는 Agent 아키텍처·RAG·function calling·운용 패턴을 한 번에 정리하는 흐름으로 구성했습니다.

네 개 모듈로 나누어 진행했습니다

1. LLM Agent 아키텍처 — 토이 데모와 프로덕션 사이의 거리

그룹사 IT 자회사가 만든 Agent는 계열사 여러 곳에 동시에 들어가야 합니다. 한 사이트에서 동작한 PoC가 다른 사이트에서 깨지지 않으려면 아키텍처 자체가 휴대 가능해야 합니다.

이 모듈에서는 다음 내용을 도메인 시나리오에 묶어 다룹니다.

• Router·Planner·Executor 분리와 멀티 테넌트 환경에서의 책임 범위
• Agent loop의 반복 횟수·타임아웃·예산을 제약으로 박는 방법
• 계열사별 도메인 시나리오를 동일 골격에 끼워 넣는 패턴
• Human-in-the-loop과 자동 실행의 경계 설정

아키텍처 그림이 없는 Agent는 운영 단계에서 항상 무너집니다. 첫 모듈에서 그 그림을 손으로 그릴 수 있는 수준까지 끌어올립니다.

2. RAG 시스템 설계 — 검색 품질이 곧 답변 품질입니다

RAG는 벡터 DB 한 줄로 끝나는 작업이 아니라 청크·메타데이터·재랭킹·하이브리드 검색의 조합으로 답변 품질이 결정됩니다. 그룹사 환경에서는 계열사별 정책 문서가 같이 들어오므로 메타데이터 스키마가 특히 중요합니다.

이 모듈에서는 다음 내용을 다룹니다.

• 계열사·부서·문서 종류별 메타데이터 스키마 설계
• 키워드·벡터 하이브리드 검색 구성
• 재랭킹·컨텍스트 압축으로 비용·지연 시간을 잡는 패턴
• 검색 품질 자체를 평가하는 지표 (recall, MRR, hit rate)

메타데이터 스키마가 잘 짜여 있으면 같은 RAG 엔진이 계열사 어디로 가도 그대로 동작합니다. 표준화의 출발선입니다.

3. function calling · tool use — Agent와 사내 시스템을 안전하게 잇는 법

Agent의 가치는 사내 시스템에 정확히 호출을 보낼 때 처음 나옵니다. 그룹사 환경은 인증·권한 체계가 계열사마다 달라, function 단위에서 표준을 잡아 두는 일이 핵심입니다.

이 모듈에서는 다음 내용을 실제 사내 API 스타일로 다룹니다.

• function schema 설계 패턴 — 인자·반환·에러를 LLM이 이해할 단위로
• 내부 API 인증을 Agent 컨텍스트에 노출하지 않는 호출 구조
• tool 호출 결과 검증과 사용자 confirm 단계 삽입 시점
• 권한·감사 로그를 미들웨어 한 줄로 박는 방법

함수 스키마는 한 번 잘 짜 두면 계열사를 옮길 때 코드가 거의 그대로 살아남습니다. function calling 모듈에서 그 표준을 손에 쥐어드립니다.

4. 평가·모니터링·운용 — 데모로 끝내지 않기 위한 마지막 모듈

데모 Agent와 운영 Agent의 차이는 평가·모니터링·운용 모듈을 처음부터 박았는지 여부에서 갈립니다. 그룹사 환경은 SLA가 함께 걸리므로 더 무겁게 다뤘습니다.

이 모듈에서는 다음 내용을 다룹니다.

• 시나리오 평가 셋 설계와 회귀 테스트 자동화
• 추론 모델과 일반 LLM 혼용 시의 비용·정확도 균형 측정
• 프로덕션 트레이싱과 이상 호출 감지
• 점진 배포·롤백·rate limit·SLA 정책

평가 셋과 트레이싱이 박혀 있는 Agent만이 결재 라인에서 통과됩니다. 마지막 모듈은 그 결재 자료를 만드는 시간이기도 합니다.

이런 분께 추천드립니다

• 사내 AI Agent 서비스를 처음부터 설계해야 하는 개발자·테크리드
• Agent PoC를 프로덕션까지 가져가야 하는 AX·DT 추진 임원
• 사내 데이터·API를 LLM과 안전하게 연결해야 하는 플랫폼·인프라 담당자

특히 롯데·삼성·SK·현대처럼 그룹사 단위로 계열사 Agent 서비스를 설계해야 하는 IT 자회사 환경에서, 한 사이클의 표준을 손에 쥐는 다음 단계에서 가장 큰 시간 절약이 됩니다.

다음 단계

회사 상황에 맞춰 16시간 과정을 그대로 진행하실 수도 있고, 8시간 또는 4시간 압축본으로 시작하셔서 차수를 늘려가시는 것도 가능합니다.

가장 빠른 길은 현재 회사 상황과 가능한 일정을 메일로 보내주시는 것입니다. 24시간 안에 비슷한 사례 2~3건과 견적 초안을 함께 회신드리겠습니다.

→ 상담 문의 보내기 | 강의 카탈로그 PDF 받기

교육 담당자분께서 결재 라인에 공유해야 하시는 경우, 카탈로그 PDF를 먼저 받아두시는 편이 편리합니다.

Tags