안녕하세요. 사랑받는 IT 프로덕트의 첫걸음, 똑똑한개발자입니다.

오늘의 인사이트 요약

- 직원이 자주 묻는 질문부터 모으면 챗봇에 필요한 문서를 고르기 쉽습니다.
- 공식 원본과 적용 시점, 열람 권한을 함께 정리해야 합니다.
- 답을 찾지 못했을 때의 대응과 문서 갱신까지 운영 범위에 포함하세요. 

휴가 규정은 사내 위키에, 비용 정산 안내는 공유 폴더에, 최근 바뀐 절차는 메신저 공지에 있습니다. 직원은 답을 찾으려고 여러 곳을 오가고 담당자는 같은 질문에 반복해서 답합니다. 이런 상황에서 사내 AI 챗봇을 검토하게 됩니다.

그런데 흩어진 자료를 모두 연결하면 문제가 해결될까요? 같은 업무를 설명하는 문서끼리 내용이 다르거나, 일부 직원만 볼 수 있는 자료가 섞여 있다면 먼저 정리할 것이 있습니다. 구축을 준비하는 담당자라면 아래 다섯 가지부터 확인해보세요!

1. 파일 목록보다 직원의 질문부터 모으세요.

처음에는 챗봇이 답할 업무를 좁히는 편이 좋습니다. 전사 문서를 한꺼번에 모으기보다 신규 입사자의 업무 환경 설정이나 비용 정산처럼 질문과 담당 부서가 분명한 업무를 골라보세요.

예를 들어 비용 정산 챗봇을 만든다고 가정해보겠습니다. 

직원은 ‘정산 규정을 알려줘’보다 ‘영수증을 잃어버렸는데 어떻게 처리하나요?’처럼 자신이 처한 상황을 묻습니다. 이 질문에 답하려면 규정 외에도 예외 처리 안내와 담당 부서 정보가 필요할 수 있습니다.

실제 질문 옆에 답변 근거가 되는 문서를 연결해보면 자료의 빈틈이 드러납니다. 

문서만으로 답할 수 있는 질문, 추가 정보를 물어야 하는 질문, 담당자 판단이 필요한 질문을 나눠두세요. 개인의 승인 여부를 확인하려면 업무 시스템 조회가 필요하므로 문서 안내와는 별도로 구축 범위를 잡아야 합니다.

2. 어떤 문서를 공식 답변의 근거로 쓸지 정하세요

같은 규정의 수정본이 여러 개라면 챗봇에 연결할 공식 원본을 정해야 합니다. 파일명에 ‘최종’이 붙었다는 이유만으로 현재 적용되는 문서라고 판단하기는 어렵습니다. 최근 수정한 문서라도 다음 달부터 시행하는 내용일 수 있습니다.

과거 규정을 무조건 지우는 것도 답은 아닙니다. 이전 시점의 처리 기준을 확인할 일이 생길 수 있으니 현재 안내와 과거 조회를 구분해두세요. 자료가 충돌한다면 챗봇이 임의로 하나를 고르게 두기보다 담당 부서에서 기준을 확정하는 편이 좋습니다.

3. 문서 열람 권한이 답변에도 이어져야 합니다

사내 계정으로 로그인했다고 모든 문서를 볼 수 있는 것은 아닙니다. 공통 업무 안내와 특정 부서의 내부 자료는 열람 대상이 다릅니다. 챗봇에서도 이 구분을 유지해야 합니다.

문서를 찾아 답변하는 방식인 RAG(검색 증강 생성)는 질문과 관련된 자료를 검색해 AI에 전달합니다. 이때 전달 대상은 사용자가 읽을 수 있는 문서로 한정합니다. Azure AI Search도 사용자·그룹 정보에 맞춰 검색 결과에서 허용되지 않은 문서를 제외하는 방식을 안내합니다. 

문서를 별도 검색 저장소에 복사한다면 원본의 권한이 자동으로 따라온다고 가정해서는 안 됩니다. 부서 이동으로 권한이 바뀌거나 문서가 비공개로 전환됐을 때 언제 반영되는지도 정해두세요.

테스트는 서로 다른 권한의 계정으로 같은 질문을 던져보는 방식이 도움이 됩니다. 답변 본문뿐 아니라 출처 제목과 미리보기에도 제한된 정보가 나타나지 않는지 확인하세요.

4. 표와 예외 조건이 떨어지지 않게 준비하세요

사람에게 잘 읽히는 문서라고 검색 과정에서도 같은 의미로 전달되지는 않습니다. 문서를 작은 단위로 나눌 때 제목과 본문, 표와 각주가 떨어지면 필요한 조건을 놓칠 수 있습니다. 

가령 정산 한도가 표에 있고 예외 조건은 다음 페이지에 있다고 가정해보겠습니다. 

표만 찾으면 금액은 안내할 수 있어도 예외가 적용되는 상황은 빠질 수 있습니다. 담당자는 자주 묻는 질문에 필요한 표와 조건이 어디에 있는지 개발팀에 짚어주는 것이 좋습니다.

스캔한 PDF나 이미지 속 글자도 확인 대상입니다. 파일이 등록됐다는 표시와 내용을 올바르게 읽었다는 것은 다릅니다. 항목명과 금액이 잘못 연결되거나 문장 일부가 빠지지 않았는지 실제 추출 결과를 살펴보세요.

답변에는 근거 문서의 제목과 원문 링크를 함께 보여주는 편이 좋습니다. RAG를 구성할 때 원본과의 연결 정보를 보관하면 출처 표시에 활용할 수 있습니다. 다만 링크가 있다는 것만으로 답변의 정확성이 보장되지는 않으므로 연결된 문서가 실제 답변을 뒷받침하는지도 확인이 필요합니다. 

5. 답을 못 찾았을 때와 문서가 바뀔 때를 정하세요

자료에 답이 없는 질문도 들어옵니다. 이때 그럴듯한 안내를 만드는 대신 확인할 수 없는 내용을 밝히고 추가 질문이나 담당 부서 안내로 이어지도록 정해두세요. 담당 부서 정보 역시 관리하는 자료에 근거해야 합니다.

운영 중에는 잘못된 답변과 답하지 못한 질문을 구분해 살펴보세요. 답이 문서에 없었다면 자료를 보완하고, 문서가 있는데 찾지 못했다면 검색 방식을 점검해야 합니다. 근거는 제대로 찾았지만 설명이 틀렸다면 답변 생성 방식을 확인할 차례입니다. 원인을 나눠야 무엇을 고칠지도 정할 수 있습니다.

문서를 수정하거나 삭제했을 때 챗봇에 반영되는 방법도 필요합니다. 자료가 얼마나 자주 바뀌는지에 따라 갱신 주기를 정하고 중요한 규정은 변경 뒤 관련 질문을 다시 테스트하세요. 내용 담당자와 시스템 운영 담당자를 구분해두면 문제가 생겼을 때 누구에게 요청할지도 분명해집니다.

똑똑한개발자는 업무 분석부터 AI 시스템 개발과 운영 개선까지 함께 진행합니다. 

사내 챗봇도 직원이 무엇을 묻는지, 자료가 어디에 있는지, 기존 시스템과 어떻게 연결할지부터 살펴봅니다. 처음에는 질문과 근거 문서가 명확한 업무를 골라 작은 범위에서 확인하는 방식을 제안합니다.

사내 AI 챗봇을 준비하고 있다면 반복해서 들어오는 질문과 현재 답변에 쓰는 문서부터 모아보세요. 이 목록이 있어야 필요한 연동과 개발 범위를 구체적으로 논의할 수 있습니다.

아래 링크로 편하게 문의주세요. :)

🔗 똑똑한개발자 문의하기