CAISI 합의: Google·Microsoft·xAI도 AI 모델 출시 전 정부 평가 받는다

핵심 요약

미국 상무부 산하 AI 표준·혁신 센터(CAISI)가 5월 5일(현지시간) Google DeepMind, Microsoft, xAI와 사전 배포 평가 협약을 체결했다. OpenAI와 Anthropic은 2024년부터 이미 합의를 맺고 있었으나 이번에 트럼프 행정부의 AI Action Plan에 맞춰 조건을 재협상했다. 결과적으로 OpenAI·Anthropic·Google DeepMind·Microsoft·xAI 등 미국 5개 프론티어 AI 랩이 정부의 사전 배포 평가 우산 아래 들어갔다.

CAISI는 NIST 안에 있는 조직이며, 바이든 행정부가 2023년 만든 AI Safety Institute(AISI)를 트럼프 행정부가 이름과 임무를 바꿔 운영하는 곳이다. CNN, CNBC, Tom's Hardware, Engadget이 같은 날 발표 내용을 일제히 보도했다. 이들 매체는 발표 하루 전 New York Times가 보도한 소식, 즉 백악관이 신규 AI 모델의 출시 전 정부 검토 절차를 논의할 실무 그룹 구성을 검토 중이라는 내용도 함께 전했다. 백악관은 행정명령 관련 논의는 추측이라고 밝혔다.

관련 글: Pentagon AI 8개사 IL6·IL7 기밀망 합의에서는 배포 단계 보안 인증을 다뤘습니다. 이번 CAISI 합의는 그 앞 단계, 즉 출시 직전 모델 평가에 해당합니다.

합의의 핵심 골자

이번 합의로 CAISI는 Google DeepMind, Microsoft, xAI의 AI 모델을 일반 공개 전에 평가할 수 있게 된다. NIST에 따르면 개발사들은 국가 안보 관련 능력을 철저히 평가할 수 있도록 안전장치를 줄이거나 제거한 모델을 CAISI에 제공하는 경우가 많다. 평가 포커스는 다음 세 가지다.

CAISI는 2025년 출범 당시 사이버 보안, 생물학적 위험(biosecurity), 화학 무기 등 실증 가능한 국가 안보 위험에 평가 초점을 두겠다고 밝혔다. 이번 합의는 기밀 환경(classified environments)에서의 테스트도 지원하며, 사전 검토 결과로 출시 자체를 막는 강제력은 없지만, 위험 발견 시 발표 전에 완화 조치를 협의할 수 있는 통로가 생긴 것이다.

상무장관 Howard Lutnick은 2025년 6월 리브랜드를 발표하면서 그동안 검열과 규제가 "국가 안보라는 명분 아래(under the guise of national security)" 쓰여 왔다며, 혁신가들이 더 이상 그런 기준에 묶이지 않을 것이라고 밝혔다. Tom's Hardware는 이를 규제에서 멀어지는 리브랜드로 전했다. 안전(Safety)을 내건 이전 이름과 달리, CAISI는 평가·표준·연구라는 비강제적 협력 모델로 자리잡겠다는 신호로 읽힌다.

5개 랩의 참여 경로

OpenAI와 Anthropic은 2024년 AISI와 합의를 맺고 자발적으로 모델을 미리 제공해왔다. NIST는 이번 발표에서 두 회사와의 기존 합의도 상무장관의 지시와 AI Action Plan을 반영해 재협상했다고 밝혔다. 재협상된 구체적 조건은 공개되지 않았다.

Google DeepMind, Microsoft, xAI는 처음으로 공식 합의를 체결한 그룹이다. Microsoft는 같은 날 영국 AI Security Institute와도 별도 협력을 발표했다. xAI는 2026년 2월 SpaceX에 합병된 Elon Musk 계열사이며, 합의 발표 다음 날인 5월 6일에는 SpaceX가 Anthropic에 Colossus 1 데이터센터 컴퓨트를 제공하는 계약을 발표하기도 했다.

Tom's Hardware는 이로써 미국의 주요 프론티어 AI 랩이 모두 자발적인 출시 전 정부 평가에 참여하게 됐다고 평가했다. 프론티어 모델 출시 전 정부 사전 검토가 미국 AI 업계의 표준 절차로 자리잡는 흐름이다. 단, 모든 합의가 자발적이라는 점은 변하지 않는다.

트럼프 AI Action Plan과 CAISI의 위치

CAISI를 평가 허브로 자리잡히는 흐름은 트럼프 대통령이 2025년 7월 발표한 AI Action Plan의 구체적 실행이다. Plan은 CAISI를 "AI 평가 생태계(AI evaluations ecosystem)"의 일부로, 국가 안보 관련 모델 평가를 주도하는 기관으로 명시했다.

NIST에 따르면 CAISI는 지금까지 40건 이상의 모델 평가를 완료했다. 여기에는 아직 공개되지 않은 SOTA 모델 평가도 포함된다. 단, 평가 결과를 의무적으로 공개하는 규정은 없으며, NIST는 이번 합의의 목적을 정보 공유와 기업의 자발적 제품 개선으로 설명했다.

조직 구조는 다음과 같이 정리된다.

• 상위: 미 상무부 (Department of Commerce, Howard Lutnick)
• 소속: NIST (National Institute of Standards and Technology)
• 이전 명칭: AI Safety Institute (AISI, 2023 출범)
• 현재 명칭: Center for AI Standards and Innovation (CAISI, 2025년 6월 리브랜드)
• 역할: 프론티어 모델 사전·사후 평가, AI 보안 연구, 표준 개발

업계와 시민사회의 반응

참여 기업 중 Microsoft는 자체 테스트를 하고 있지만 국가 안보와 대규모 공공 안전 위험 테스트는 정부와 협력해야 한다며 환영 입장을 냈다. 합의 자체가 비강제적이고, 정부와의 평가 협력이 출시 후 규제 리스크를 줄이는 보험 성격도 있다는 점에서 기업 입장에서는 부담이 크지 않은 구조로 볼 수 있다.

반면 강제력 부재를 지적하는 분석도 있다. Cloud Security Alliance(CSA)의 리서치 노트는 CAISI의 평가 권한이 전적으로 자발적 참여에 기대고 있고 평가 결과의 의무 공개 규정이 없다는 점을 짚으며, 평가를 마쳤다는 사실이 포괄적인 안전 인증과 같지는 않다고 지적했다. Tom's Hardware는 CAISI가 아직 영구적인 법적 지위를 갖추지 못했고, 이를 법제화하려는 법안도 통과되지 않았다고 전했다. 평가 결과 위험이 확인돼도 출시를 막을 법적 권한이 CAISI에 없고 합의 조건도 비공개라는 점에서, 실효성은 앞으로 검증이 필요한 부분이다.

CAISI가 평가 초점으로 밝혀 온 영역에 화학 무기, 생물 안보 같은 고위험 시나리오가 들어 있는 점은 주목할 만하다. 4월 Anthropic이 Claude Mythos Preview가 주요 운영체제와 브라우저 전반에서 zero-day 취약점 수천 개를 찾아냈다고 밝히면서, 프론티어 모델의 사이버 능력이 국가 안보 이슈로 빠르게 격상된 흐름과도 맞물린다. CNN과 CNBC도 Mythos 공개 이후 높아진 사이버 보안 우려를 이번 합의와 백악관 검토 논의의 배경으로 짚었다.

필자의 시각

이번 합의 자체는 미국 AI 거버넌스가 강제 규제보다 자발적 평가 협력에 기대고 있음을 보여준다. EU의 AI Act가 위험 등급별 강제 의무를 부과하는 것과 비교하면, 미국은 지금까지 산업 자율성과 정부 평가의 균형을 유지하는 모델을 택해 왔다. 같은 시기 백악관이 출시 전 검토 절차를 논의하고 있다는 보도가 나온 만큼, 이 자발적 모델이 그대로 유지될지는 지켜봐야 한다.

다만 자발성에 의존하는 시스템의 한계는 분명하다. 어떤 모델이 평가되고, 어떤 위험이 발견됐고, 어떻게 완화됐는지가 거의 공개되지 않으면, 시민과 학계는 결과를 검증할 방법이 없다. 평가 보고서의 일부라도 비식별 형태로 공개되는 절차가 마련돼야 CAISI가 실질적인 신뢰 인프라가 될 수 있을 것이라고 본다.

xAI의 합류는 정책 이벤트이면서 회사의 시그널링으로도 읽힌다. 정부와 협력하는 모습이 향후 국방·연방 계약에서 유리하게 작용할 수 있기 때문이다. xAI의 모회사 SpaceX는 포함되고 Anthropic은 빠졌던 Pentagon 8개사 IL6·IL7 계약 사례가 보여주듯, 정부 AI 시장은 이미 대형 시장이 되어가고 있다.

앞으로 지켜볼 포인트

• CAISI 평가 결과가 어느 정도까지 공개되는지 (현재 의무 공개 규정 없음)
• 5개 랩이 제출하는 모델의 빈도와 깊이 (메이저 릴리스만? 마이너 업데이트도?)
• 평가에서 위험이 발견된 사례가 외부에 알려지는 경로
• AI Action Plan의 후속 행정명령에서 강제 평가로 전환될 가능성
• 다른 국가들(EU AI Office, 영국 AISI)과의 평가 결과 상호 인정 여부

참고

• CNN: Microsoft, Google and xAI will let the government test their AI models before launch
• CNBC: Trump admin moves further into AI oversight, will test Google, Microsoft and xAI models
• Tom's Hardware: Google, Microsoft, and xAI agree to let US government test AI models before public release
• Engadget: Google, Microsoft and xAI agree to provide US government with early AI model access
• NIST: CAISI Signs Agreements Regarding Frontier AI National Security Testing With Google DeepMind, Microsoft and xAI (원문 페이지는 현재 404, 본문 인용은 보관본 기준)
• U.S. Department of Commerce: Statement from Secretary Lutnick on Transforming the U.S. AI Safety Institute into CAISI (2025-06-03)
• The White House: America's AI Action Plan (2025-07)
• Microsoft On the Issues: Advancing AI evaluation with CAISI (US) and the AI Security Institute (UK)
• Cloud Security Alliance: CAISI Frontier Testing Agreements Reach Five Labs
• Axios: Anthropic will get compute capacity from SpaceX
• Anthropic: Project Glasswing