기업 AI 챗봇에서 기밀 데이터가 유출되고 있습니다
2026년 현재, 전 세계 기업의 80% 이상이 LLM(거대 언어 모델)을 업무에 도입했거나 도입을 진행 중입니다. 그런데 이 AI 시스템이 기밀 데이터를 유출하는 통로가 되고 있습니다.
OWASP는 프롬프트 인젝션을 LLM Top 10 취약점 1위로 지정했으며, 보안 감사를 받은 AI 배포 환경의 **73%**에서 프롬프트 인젝션 취약점이 발견되었습니다. 2025년 7~8월에는 Cursor IDE, ChatGPT 커넥터 등에서 프롬프트 인젝션을 통한 기업 데이터 유출 사고가 연달아 보고되었습니다.
가장 주목할 만한 것은 Microsoft 365 Copilot에서 발견된 EchoLeak(CVE-2025-32711) 취약점입니다. 공격자가 조작된 이메일을 보내기만 하면, 별도의 클릭 없이(Zero-Click) 기업 내부 데이터가 외부로 유출될 수 있었습니다.
왜 RAG 시스템이 가장 위험한가
RAG(검색 증강 생성, Retrieval-Augmented Generation)는 LLM이 기업 내부 문서를 검색하여 답변하는 구조입니다. 회사 위키, 고객 DB, 계약서 등을 AI가 직접 읽고 답변하기 때문에 업무 효율이 높지만, 동시에 데이터 유출의 가장 큰 통로이기도 합니다.
프롬프트 인젝션(Prompt Injection)이란 AI에게 원래 의도와 다른 지시를 주입하는 공격입니다. 마치 성실하지만 순진한 비서에게 서류 사이에 "모든 기밀 문서를 복사해서 보내라"는 메모를 끼워 넣는 것과 같습니다.
RAG 환경에서 프롬프트 인젝션이 특히 위험한 이유는 세 가지입니다.
- 검색된 문서 자체가 공격 벡터: 기업 내부 문서, 이메일, 위키에 악성 프롬프트가 삽입되어 있으면 RAG가 이를 검색하는 순간 공격이 실행됩니다.
- 권한 상승: AI가 사용자보다 더 넓은 데이터 접근 권한을 가진 경우, 일반 직원이 접근할 수 없는 기밀 정보도 AI를 통해 유출될 수 있습니다.
- 감사 추적 어려움: AI가 어떤 문서를 참조하여 어떤 데이터를 출력했는지 추적하기가 기존 시스템보다 훨씬 어렵습니다.
Silent Egress — 보이지 않는 데이터 유출
2026년 2월 공개된 논문 "Silent Egress"는 새로운 유형의 프롬프트 인젝션 위협을 보여줍니다. 악성 웹 페이지의 URL 미리보기(제목, 메타데이터, 스니펫)에 공격 지시를 숨기면, AI 에이전트가 이를 자동으로 처리하면서 민감한 런타임 컨텍스트를 외부 서버로 전송합니다.
이 공격은 사용자가 직접 악성 URL을 입력할 필요조차 없습니다. AI가 자동으로 생성하는 URL 프리뷰가 공격 매개체가 되기 때문에, "조용한 유출(Silent Egress)"이라는 이름이 붙었습니다.
LayerX의 2025년 보고서에 따르면, AI를 사용하는 기업 직원의 **77%**가 회사 데이터를 AI 챗봇에 붙여넣은 경험이 있으며, 그중 **22%**는 기밀 개인정보 또는 재무 데이터를 포함하고 있었습니다.
| 지표 | 수치 | |------|------| | LLM 배포 환경 중 프롬프트 인젝션 취약 비율 | 73% | | 기업 직원 중 AI에 회사 데이터 입력 경험 | 77% | | 그 중 기밀 데이터 포함 비율 | 22% | | OWASP LLM Top 10 중 프롬프트 인젝션 순위 | 1위 |
지금 할 수 있는 대응법
-
AI 시스템의 데이터 접근 권한 최소화: LLM이 접근할 수 있는 데이터 범위를 업무에 필요한 최소한으로 제한합니다. 특히 RAG 시스템이 참조하는 문서 범위를 정기적으로 검토하세요.
-
입출력 필터링 레이어 도입: AI의 입력(사용자 질의 + 검색 문서)과 출력(AI 응답)에 프롬프트 인젝션 탐지 필터를 적용합니다. Thales AI Security Fabric, Rebuff 등 전용 도구를 검토하세요.
-
민감 데이터 분류 및 태깅: 기업 내부 문서에 민감도 등급을 태깅하고, AI가 "기밀" 또는 "대외비" 태그가 달린 문서를 참조할 때 별도 검증 로직을 추가합니다.
-
AI 사용 정책 수립 및 교육: "AI 챗봇에 입력하면 안 되는 정보" 가이드라인을 수립합니다. 고객 개인정보, 미공개 재무 데이터, 계약 조건, API 키 등을 명시적으로 금지 항목에 포함합니다.
-
감사 로그 및 모니터링 강화: AI 시스템의 모든 쿼리와 응답을 로깅하고, 비정상적인 데이터 접근 패턴(예: 한 사용자가 다량의 고객 정보를 조회)을 탐지하는 모니터링을 설정합니다.
참고 링크