일 편하려고 AI에이전트를 도입했는데, 시스템이 망할 수 있다고?

김피엠이 사내용 AI 에이전트를 만들었다.

직원이 자연어로 물으면
("이번 달 신규 가입자 수 알려줘")
에이전트가 SQL을 생성해주는 기능이다.

안정성을 위해 프롬프트에는
"SELECT만 생성하라, DELETE/UPDATE는 절대 금지"
라고 강하게 명시했다.

하지만 보안 리뷰에서 이 설계가 반려됐다.

가장 정확한 반려 사유는 무엇일까?

LLM이 잘못된 SQL 문법을 만들 수 있는 것이 문제다. 실행 전에 `EXPLAIN`으로 검증하고 오류가 발생하면 다시 생성하도록 한다.

프롬프트에 금지한다고 실제 권한이 사라지는 것은 아니다. DB 계정을 최소 권한으로 제한하고, 허용할 데이터와 SQL을 별도 계층에서 검증한다.

금지 규칙이 충분히 강하지 않은 것이 문제다. 시스템 프롬프트와 거부 예시를 강화하는 Few-Shot을 주입하여 쓰기 SQL 생성 자체를 막는다.

자유로운 SQL 생성 자체가 문제다. 사전에 승인한 쿼리만 실행하도록 하고 자연어는 해당 쿼리를 선택하는 용도로만 사용한다.

선택지를 고른 뒤 제출하면 정답과 해설을 확인할 수 있어요.