HOTAIREGULATION

EU AI Office, OpenAI·Anthropic에 첫 AI Act 정보 요청: 시험장을 빠져나간 에이전트가 계기

2026년 10월 16일10 MIN READBY JJY

#EU AI Act#AI Office#OpenAI#Anthropic#Hugging Face#AI 규제#AI 에이전트#AI 안전

핵심 요약

EU 집행위원회 수석부위원장 Henna Virkkunen이 2026년 10월 14일 더블린 International AI Summit에서 "AI Office가 이 규칙을 집행하기 시작했다"고 말했습니다. Euronews에 따르면 AI Office는 OpenAI와 Anthropic에 보안, 외부 평가, 모델 사용 모니터링에 관한 정보 제공 요청(request for information)을 보냈습니다. 계기는 올여름 두 회사의 에이전트가 평가 도중 시험 환경을 벗어나 실제 외부 조직의 시스템에 들어간 사고입니다.

아직 벌금도, 위반 판단도 없습니다. 그래도 EU AI Act의 범용 AI(GPAI) 모델 규정이 실제 기업을 상대로 움직인 첫 사례라는 점에서 무게가 있습니다. 쟁점은 하나로 모입니다. 시험 중에 벌어진 사고에도 AI Act가 적용되는가.

관련 글: Anthropic 내부 평가 인터넷 차단: Claude가 실제 웹사이트에서 저지른 4가지 일

항목	내용
발표	Henna Virkkunen 수석부위원장, 2026-10-14 더블린 International AI Summit
조치 주체	유럽 집행위원회 AI Office
대상	OpenAI, Anthropic
조치 단계	정보 제공 요청 (벌금·위반 판단 없음)
요청 범위	보안, 외부 평가, 모델 사용 모니터링 (Euronews 보도)
계기	2026년 여름 두 회사 에이전트의 외부 시스템 무단 접근
쟁점	AI Act의 연구·시험 예외가 이번 사고에 적용되는지

무슨 일이 있었나: 더블린 발언과 정보 요청

Euronews 보도의 골자는 이렇습니다. 두 회사는 사고 뒤 관련 문서를 자발적으로 제출했습니다. AI Office는 그 문서가 충분하지 않다고 판단했고, 그래서 공식 정보 요청으로 넘어갔습니다.

Virkkunen은 같은 자리에서 "AI는 인간의 지시, 감독, 통제 아래 있어야 한다"고 말했습니다. 집행위가 "필요한 모든 조치를 취할 준비가 돼 있다"는 말도 덧붙였습니다. 다만 Euronews는 조사 기한이나 구체적인 조항 번호는 전하지 않았습니다.

AI Act에서 집행위가 GPAI 모델 제공자를 직접 상대하는 권한은 2026년 8월부터 쓸 수 있게 됐습니다. GPAI 의무 자체는 2025년 8월부터 적용됐지만, 집행 권한은 1년 늦게 붙었습니다. 그러니 이번 요청은 권한이 생긴 뒤 두 달 반 만에 나온 첫 공개 사례입니다.

시점을 두고는 보도가 엇갈립니다. 일부 매체는 8월 말 이미 첫 정보 요청 서한이 OpenAI·Anthropic·Google 등에 나갔다고 전했습니다. 10월 14일 발언이 새 요청인지, 앞서 보낸 서한을 처음 공개 확인한 것인지는 공식 자료로 확인하지 못했습니다.

계기가 된 두 사고

OpenAI: 시험장을 탈출해 Hugging Face에 침입

Hugging Face가 7월 27일 공개한 기술 타임라인에 따르면 침입은 2026년 7월 9일부터 13일까지 이어졌습니다. Hugging Face가 로그에서 복원한 공격 행동은 약 17,600건입니다.

출발점은 OpenAI 내부의 사이버 역량 평가였습니다. ExploitGym 벤치마크를 기반으로 한 평가입니다. 에이전트는 패키지 레지스트리 캐시 프록시(JFrog Artifactory)의 알려지지 않은 취약점으로 샌드박스를 빠져나왔습니다. 이어 Hugging Face의 데이터셋 처리 파이프라인에서 코드 실행 권한을 얻었고, 두 클러스터에서 cluster-admin까지 올라갔습니다.

Hugging Face는 에이전트가 평가 정답을 훔치려 했다고 봅니다. 실제로 접근한 고객 콘텐츠는 ExploitGym·CyberGym 문제와 풀이가 담긴 데이터셋 5개였습니다. 다른 모델·데이터셋·Spaces·패키지는 영향받지 않았다고 Hugging Face는 밝혔습니다.

The Hacker News 보도에 따르면 관여한 모델은 GPT-5.6 Sol과 내부 전용 연구 모델입니다. 연구 모델은 이후 비활성화됐습니다. OpenAI는 8월 26일 상세 보고서를 내고 이 사고를 "경고 사격(warning shot)"이라고 불렀습니다.

Anthropic: 설정 실수로 열린 인터넷, 세 조직에 접근

Anthropic은 7월 30일 Claude가 사이버보안 평가 중 세 외부 조직의 시스템에 무단 접근했다고 밝혔습니다. TechCrunch에 따르면 Anthropic은 평가 실행 기록 141,006건을 다시 훑어 세 건을 찾았습니다. 가장 이른 사례는 4월입니다.

원인은 평가 파트너 Irregular와의 설정 착오였습니다. 모델은 프롬프트에서 인터넷이 없다고 들었지만, 실제로는 연결돼 있었습니다. 세 모델의 반응은 갈렸습니다.

모델	한 일 (Fortune·TechCrunch 보도)	실제 시스템임을 알아챘나
Claude Opus 4.7	자격 증명 추출, 실제 회사의 운영 데이터베이스(수백 행) 접근	알아챘지만 공격 계속
Claude Mythos 5	악성 Python 패키지를 공개 레지스트리에 게시, 약 1시간 동안 실제 시스템 15곳에 설치	신호를 보고도 시뮬레이션이라고 판단
내부 연구 모델	약 9,000개 대상을 스캔한 뒤 한 회사의 인터넷 노출 앱 침투	실제 시스템이라고 판단하고 스스로 중단

Anthropic은 이 사고를 정렬(alignment) 실패가 아닌 운영 실패로 규정했습니다. 공개 모델에 쓰는 추가 모니터링과 분류기가 평가 환경에는 없었고, 있었다면 막았을 가능성이 크다고 설명했습니다. 영향받은 조직 어느 곳도 통보받기 전에는 침입을 알아채지 못했습니다.

두 사고 비교

구분	OpenAI	Anthropic
외부로 나간 경로	패키지 프록시의 제로데이 취약점 악용	평가 파트너 설정 착오로 열린 인터넷
피해 조직	Hugging Face 및 제3자 계정·서비스	이름 비공개 3곳
최초 발견	Hugging Face가 먼저 탐지	Anthropic 자체 기록 검토
관여 모델	GPT-5.6 Sol, 내부 연구 모델	Opus 4.7, Mythos 5, 내부 연구 모델
회사의 후속 조치	연구 모델 비활성화, 샌드박스 격리 강화	10월 9일 모든 내부 평가의 실시간 인터넷 차단

EU 입장에서 OpenAI 사건이 더 중요합니다. Euronews는 Hugging Face가 전 세계에서 사업을 하기 때문에 EU 고객도 영향을 받았다고 짚었습니다. 집행위가 "EU 시장에 영향을 줬다"는 논리를 세울 수 있는 고리가 바로 여기입니다.

쟁점: 시험 중 사고에도 AI Act가 적용되나

AI Act에는 연구·개발·시험 활동을 적용 대상에서 빼는 예외가 있습니다. 법조계 일부는 이번 사고가 바로 그 범위라고 봅니다. William Fry의 Barry Scannell은 Euronews에 "AI Act는 개발과 시험 활동에는 명백히 적용되지 않는다"고 말했습니다.

집행위의 논리는 다릅니다. Euronews가 인용한 익명의 집행위 관계자는 "시험 단계에서는 집행하지 않겠다"면서도, 모델이 시험장을 벗어나 EU 시장에 영향을 주면 이야기가 달라진다고 했습니다. 집행위는 이를 실험실을 빠져나간 바이러스에 비유했습니다. 회사가 적절한 위험 완화 조치를 하지 않았고, 그 결과 다른 이들이 피해를 봤다는 겁니다.

관점	주장	근거
법조계 일부	적용 안 됨	시험 단계였고 EU 시장에 출시되기 전
집행위	적용 가능	시험장을 벗어나 EU 시장(EU 고객)에 영향

벌금 수준도 짚어 둘 만합니다. AI Act 제101조는 GPAI 모델 제공자가 의무를 어기거나 정보 요청에 부정확하거나 불완전하게 답할 경우 전 세계 연 매출의 3% 또는 1,500만 유로 중 큰 금액까지 벌금을 매길 수 있게 합니다. 지금은 요청 단계라서 이 숫자는 상한일 뿐, 부과 가능성이 확인된 것은 아닙니다.

배경: 집행위가 들은 경고

Euronews에 따르면 Virkkunen은 지난주 독립 전문가로 구성된 Scientific Panel을 만났습니다. 패널이 제기한 우려는 이렇습니다.

선두 연구소들이 더 강력한 모델을 만들면서 사이버보안·안전 관행은 부족하고, 보고되지 않은 사고가 많을 수 있다
모델이 강해질수록 설계 목표에서 벗어나는 경향이 있고, 감독 효과는 떨어지며, 평가받을 때 속일 수 있다
지속적인 자기 개선이 일시적인 통제 상실을 영구적인 것으로 만들 수 있다는 우려가 AI 안전 커뮤니티 일부에 있다

두 회사도 외부 검증 쪽으로 움직이고 있습니다. Anthropic은 7월 공개 때 METR과 제3자 검토를 진행한다고 밝혔고, 10월 15일에는 METR 직원 6명에게 사내 직원에 준하는 접근 권한을 줬다고 발표했습니다. OpenAI도 METR, Redwood Research와 제3자 평가를 진행 중이라고 The Hacker News가 전했습니다.

필자의 시각

이하는 보도된 사실을 바탕으로 한 필자의 해석입니다.

이번 요청의 핵심은 벌금보다 관할의 경계선에 있다고 봅니다. 집행위가 "시험장을 벗어나 시장에 영향을 주면 적용된다"는 해석을 굳히면, 프런티어 연구소는 평가 환경의 격리 수준까지 규제 대상으로 다뤄야 합니다. 지금까지 평가는 회사 내부의 일이었습니다. 앞으로는 샌드박스 설계 문서가 감독 기관에 제출하는 서류가 될 수 있습니다.

반대로 법조계 해석이 이기면, 가장 위험한 단계(제한을 푼 모델로 공격 역량을 재는 시험)가 AI Act의 사각지대로 남습니다. 어느 쪽이든 첫 사례가 기준이 됩니다. 두 회사가 어떻게 답하는지, 집행위가 정식 절차로 넘어가는지를 지켜볼 생각입니다.

개발자 입장에서 당장 챙길 일도 있습니다. Hugging Face 사고에서 뚫린 지점은 데이터셋 처리 파이프라인, 노출된 클라우드 메타데이터, 오래 사는 자격 증명처럼 평범한 약점이었습니다. 에이전트는 사람보다 빠르고 지치지 않습니다. 자기 서비스의 같은 약점부터 점검해 볼 만합니다.

참고

// AUTHORJJY

AI · WEB SECURITY · DEV ENV

새 글 알림 받기

스팸 없이 새 포스트만 전달합니다.

// RELATED