1차 응대 챗봇 + 휴먼 핸드오프

새벽 2시에 들어온 환불 문의에도 챗봇이 5초 안에 답변을 보내고, 챗봇이 답하지 못한 10%의 문의는 다음 날 아침 누적 맥락과 함께 상담사 화면에 표시됩니다. 야간 대기 인력 없이도 첫 응대 만족도를 유지할 수 있습니다.

1차 응대 챗봇과 휴먼 핸드오프(human handoff)는 LLM을 사내 FAQ와 정책 문서, 주문 데이터에 연결해 자주 묻는 질문에는 즉시 답하고, 답의 신뢰도가 낮거나 고객의 감정이 격한 문의만 상담사에게 넘기는 구조입니다.

이 가이드는 챗봇의 응답 범위와 상담사에게 넘기는 기준, 핸드오프 때 함께 전달할 정보, 도입 후 변화를 정리했습니다.

챗봇 응답 범위

챗봇은 정책 안내, 계정 문의, 주문 상태 조회처럼 답이 정해진 문의를 처리합니다. 다음과 같은 짧은 문의에는 24시간 자동으로 응답합니다.

환불 신청은 며칠 안에 처리되나요?

주문한 상품은 지금 어디쯤 배송되고 있나요?

비밀번호는 어떻게 초기화하나요?

쿠폰 2개를 함께 사용할 수 있나요?

결제 영수증을 다시 받을 수 있나요?

배송지를 아직 변경할 수 있나요?

국내 SaaS와 이커머스 공개 사례에서는 단순 문의의 60~80%를 챗봇이 바로 처리하는 것으로 알려져 있습니다. 상담사에게 넘기는 문의는 나머지 20~40%입니다.

문의 처리 흐름

고객이 질문하고 답을 받기까지의 과정을 시간 순서로 정리하면 챗봇과 RAG, 상담사의 역할 분담을 확인할 수 있습니다. 답의 신뢰도에 따라 자동 응답과 핸드오프로 경로가 나뉩니다.

문의 처리의 5가지 상태

문의 1건이 종료되기까지의 상태 전환을 정리하면 상담사 연결 시점과 자동 종료 조건을 정책으로 코드화하기 쉬워집니다.

도입 후 업무 변화

같은 인력과 응대 톤을 유지하면서 응답 속도와 야간 커버리지가 함께 개선되었다는 보고가 많습니다. 자주 보고되는 변화는 다음 5가지입니다.

첫 응답 시간: 평균 5분에서 5초로 줄어듭니다.

야간·주말 커버리지: 야간 대기 인력을 두거나 다음 날 회신하던 방식에서 24시간 1차 자동 답변으로 바뀝니다.

상담사 인입 건수: 단순 문의의 60~80%를 챗봇이 처리하고, 상담사는 복잡한 문의에 집중합니다.

핸드오프 정보량: 누적 맥락이 상담사에게 그대로 전달되어 고객이 처음부터 다시 설명할 필요가 없습니다.

톤·정책 일관성: 상담사 개인차 없이 모든 답변에 사내 톤과 정책이 동일하게 적용됩니다.

도입 시 유의 사항

가장 큰 위험은 챗봇이 모르는 내용을 아는 것처럼 답하는 환각입니다. 정책, 약관, 요금처럼 정확해야 하는 답은 RAG로 사내 문서에서 직접 인용하고 답에 출처를 함께 표시합니다. 이 방식이 환각을 막는 데 가장 효과가 큰 것으로 알려져 있습니다.

두 번째는 고객의 상담사 연결 요구를 놓치는 것입니다. 욕설, 반복 질문, "상담사 연결" 키워드와 함께 부정적 감정 점수가 임계치를 넘으면 바로 핸드오프하도록 트리거를 여러 개 설정합니다.

세 번째는 핸드오프 때 정보가 끊기는 문제입니다. 고객이 챗봇에 5번 설명한 내용을 상담사에게 다시 설명하게 되면 만족도가 크게 떨어진다는 보고가 많습니다. 누적 대화와 고객 정보, 챗봇이 시도한 답 후보를 한 화면에 모아 전달합니다.

마지막은 학습 루프입니다. 상담사가 직접 답한 사례를 RAG 카탈로그에 자동으로 추가해야 같은 질문이 다시 들어왔을 때 챗봇이 답할 수 있습니다. 이 루프가 없으면 도입 6개월 후에도 자동 종결률이 오르지 않습니다.

성과 지표 4가지

핸드오프 시스템의 성과는 다음 4가지 지표로 측정합니다.

자동 종결률(Containment Rate): 도입 6개월 후 60% 이상을 기준으로 봅니다.

핸드오프 후 첫 답변까지 시간: 평균 3분 이내를 기준으로 합니다.

챗봇 답변 만족도(CSAT): 5점 만점에 4점 이상을 기준으로 합니다.

재질문율: 같은 고객이 같은 주제로 다시 묻는 비율을 10% 미만으로 유지합니다.

자동 종결률만 높이면 챗봇이 문제 해결 없이 대화를 종료하기 쉽습니다. CSAT과 재질문율을 함께 확인해야 챗봇이 실제로 문제를 해결했는지 판단할 수 있습니다.

도입 첫 단계

사내에서 직접 시작할 때는 자주 묻는 질문 50개를 선정해 RAG 카탈로그를 구성하고, 신뢰도 임계치 1개를 정해 핸드오프 트리거를 설정하는 것부터 진행합니다.