RAG를 붙였는데 챗봇이 더 당당하게 틀린다.

AI난이도★★★★★

RAG를 붙였는데 챗봇이 더 당당하게 틀린다.

Q.

사내 규정 챗봇에 RAG를 붙였다. 문서를 청크로 쪼개 벡터DB에 넣고, 질문과 유사한 청크를 검색해 LLM에 넘기는 표준 구성이다.
그런데 테스트해보니 이상하다. "연차 이월 규정"을 물으면 출장비 규정을 근거로 그럴듯한 답을 지어낸다.
심지어 "규정 제12조에 따르면"이라며 출처까지 단다.
검색 로그를 보니 연차 관련 청크의 유사도 점수가 낮은데도 상위 3개가 무조건 LLM에 전달되고 있었다.
가장 효과적인 개선 조합은?

1

더 큰 LLM으로 바꾸고, 시스템 프롬프트에 “근거 문서 밖의 내용은 답하지 말라”는 규칙을 강화한다.

2

청크를 더 잘게 쪼개고, overlap을 늘려서 질문과 문서 조각이 더 잘 매칭되도록 조정한다.

3

검색 결과에 최소 점수 기준과 리랭킹을 적용하고, 답변에는 실제 근거 청크만 사용하도록 제한한다.

4

temperature를 0으로 낮추고, 답변 형식을 고정해 항상 같은 구조로 규정 답변을 생성하게 한다.

선택지를 고른 뒤 제출하면 정답과 해설을 확인할 수 있어요.