AI Agent 프로젝트

SK E&S에서 진행한 에너지 도메인 LLM Agent 프로젝트 강의입니다. 카테고리는 LLM Agent 개발이며, 사내 시스템 연동과 운영 안정성에 무게를 두고 설계했습니다.

안녕하세요, 권앤컴퍼니의 권기현입니다. 이번에는 SK E&S에서 진행한 AI Agent 프로젝트 강의를 소개하려고 합니다. 어떤 아키텍처를 다뤘고, 에너지 도메인 데이터에 어떻게 붙였으며, 운영까지 끌고 가는 데 무엇을 점검했는지에 대한 기록입니다.

기업의 LLM Agent 도입을 검색하다 이 페이지에 도착하셨다면, 비슷한 고민을 가지고 계실 가능성이 높습니다.

사내에 ChatGPT API는 붙여봤지만, 운영 환경에서 무엇이 깨질지 예측이 안 됩니다.

SCADA·운영 데이터를 LLM에 어떻게 붙여야 보안 정책 안에서 가능한지 정리되어 있지 않습니다.

Agent를 만들었을 때 정확도와 안정성을 무엇으로 측정해야 할지 기준이 없습니다.

이 강의는 위 세 가지 질문에 대한 개발자·실무 관점의 답을 16시간 안에 정리해 드리는 과정으로 설계되었습니다.

한 줄 요약

워크샵 직후부터 사내에서 바로 PoC 시작이 가능한 Agent 아키텍처·RAG·function calling·운용 패턴을 한 번에 다룹니다.

에너지 도메인 특유의 운영 데이터·규제 환경을 전제로 두고, 토이 프로젝트를 넘어 사내 시스템과 붙는 Agent를 설계하는 흐름으로 구성했습니다.

네 개 모듈로 나누어 진행했습니다

1. LLM Agent 아키텍처 — 토이 데모와 프로덕션 사이의 거리

에너지 사업은 데이터가 SCADA·운영 시스템·외부 시장 가격으로 흩어져 있어, 단순 RAG 한 단계로는 답이 나오지 않는 질문이 대부분입니다. Agent 아키텍처 설계가 곧 사내 도입 가능 여부를 결정합니다.

이 모듈에서는 다음 내용을 도메인 시나리오에 묶어 다룹니다.

• Router · Planner · Executor 분리 패턴과 각각의 책임 범위
• 단일 LLM 호출 vs Agent loop의 트레이드오프 (지연·비용·정확도)
• 에너지 운영 시나리오에서 다단계 의사결정이 필요한 지점 식별
• 오류·타임아웃·재시도 정책을 아키텍처 레벨에서 박는 방법

아키텍처 그림이 없는 Agent는 운영 단계에서 항상 무너집니다. 첫 모듈에서 그 그림을 손으로 그릴 수 있는 수준까지 끌어올립니다.

2. RAG 시스템 설계 — 검색 품질이 곧 답변 품질입니다

RAG는 벡터 DB만 띄우면 끝나는 작업처럼 소개되지만, 실제로는 청크 단위·메타데이터·재랭킹·하이브리드 검색의 조합에서 답변 품질의 절반 이상이 결정됩니다.

이 모듈에서는 다음 내용을 다룹니다.

• 에너지 운영 매뉴얼·규제 문서 청크 단위 설계와 메타데이터 스키마
• 키워드 검색과 벡터 검색을 묶는 하이브리드 전략
• 재랭킹과 컨텍스트 압축을 통해 토큰 비용·지연 시간을 줄이는 패턴
• 검색 품질 자체를 평가하는 지표 (recall, MRR, hit rate)

검색 품질이 LLM 답변 품질의 천장을 결정합니다. RAG 모듈은 그 천장을 밀어 올리는 작업입니다.

3. function calling · tool use — Agent와 사내 시스템을 안전하게 잇는 법

Agent의 가치는 사내 시스템에 붙어 실제 동작을 트리거할 때 처음 나옵니다. 그 지점에서 보안과 안정성이 가장 자주 깨집니다.

이 모듈에서는 다음 내용을 실제 사내 API 스타일로 다룹니다.

• function schema 설계 패턴 — 인자·반환·에러 케이스를 LLM이 이해할 수 있는 단위로
• 내부 API 키·인증 토큰을 Agent에 노출하지 않으면서 호출하는 구조
• tool 호출 결과 검증과 사용자 confirm 단계 삽입 시점
• 권한·감사 로그를 한 줄에 박는 미들웨어 패턴

tool 호출 한 건이 사내 데이터를 변경할 수 있다면, 그 한 건에 대한 감사 추적이 함께 박혀야 운영팀이 받아들입니다.

4. 평가·모니터링·운용 — 데모로 끝내지 않기 위한 마지막 모듈

데모 영상으로 끝나는 Agent와 운영 환경에서 살아남는 Agent의 차이는 평가·모니터링 모듈을 처음부터 박았는지 여부에서 갈립니다.

이 모듈에서는 다음 내용을 다룹니다.

• Agent 행동을 단위 테스트처럼 평가하는 시나리오 셋 설계
• 추론 모델·일반 LLM 혼합 시 비용·정확도 균형 측정
• 프로덕션 트레이싱 — 어떤 도구가 언제 호출됐는지 추적
• 롤백·점진 배포·rate limit 정책

평가 셋이 없는 Agent는 매주 운영자가 손으로 품질을 검증해야 합니다. 평가 모듈에 한 번 투자해 두면 그 시간이 사라집니다.

이런 분께 추천드립니다

• 사내 AI Agent 서비스를 처음부터 설계해야 하는 개발자·테크리드
• Agent PoC를 프로덕션까지 가져가야 하는 AX·DT 추진 임원
• 사내 데이터·API를 LLM과 안전하게 연결해야 하는 플랫폼·인프라 담당자

특히 SK·SK E&S처럼 운영 시스템·규제·보안 정책이 함께 걸리는 환경에서, PoC를 운영 가능한 Agent로 옮기는 다음 단계가 가장 큰 시간 절약이 됩니다.

다음 단계

회사 상황에 맞춰 16시간 과정을 그대로 진행하실 수도 있고, 8시간 또는 4시간 압축본으로 시작하셔서 차수를 늘려가시는 것도 가능합니다.

가장 빠른 길은 현재 회사 상황과 가능한 일정을 메일로 보내주시는 것입니다. 24시간 안에 비슷한 사례 2~3건과 견적 초안을 함께 회신드리겠습니다.

→ 상담 문의 보내기 | 강의 카탈로그 PDF 받기

교육 담당자분께서 결재 라인에 공유해야 하시는 경우, 카탈로그 PDF를 먼저 받아두시는 편이 편리합니다.

Tags