CAISI 합의: Google·Microsoft·xAI도 AI 모델 출시 전 정부 평가 받는다

핵심 요약

미국 상무부 산하 **AI 표준·혁신 센터(CAISI)**가 5월 5일(현지시간) Google DeepMind, Microsoft, xAI와 사전 배포 평가 협약을 체결했다. OpenAI와 Anthropic은 2024년부터 이미 합의를 맺고 있었으나 이번에 트럼프 행정부의 AI Action Plan에 맞춰 조건을 재협상했다. 결과적으로 미국에 본사를 둔 5개 주요 프론티어 AI 랩이 모두 정부의 사전 배포 평가 우산 아래 들어갔다.

CAISI는 NIST 안에 있는 조직이며, 바이든 행정부가 2023년 만든 AI Safety Institute(AISI)를 트럼프 행정부가 이름과 임무를 바꿔 운영하는 곳이다. CNN, CNBC, Tom's Hardware, Engadget이 같은 날 발표 내용을 일제히 보도했다.

관련 글: Pentagon AI 8개사 IL6·IL7 기밀망 계약에서는 배포 단계 보안 인증을 다뤘습니다. 이번 CAISI 합의는 그 앞 단계, 즉 출시 직전 모델 평가에 해당합니다.

합의의 핵심 골자

이번 합의로 Google DeepMind, Microsoft, xAI는 신규 또는 업데이트한 프론티어 모델을 일반 공개하기 전에 CAISI에 평가 액세스를 제공한다. 평가 포커스는 다음 세 가지다.

항목	내용
사전 배포 평가	일반 공개 전 frontier 모델의 위험 능력 평가
표적 연구	AI 보안과 평가 방법론 자체에 대한 협업 연구
사후 평가	배포 후에도 추가 평가와 모니터링 가능

평가 영역은 사이버 보안, 생물학적 위험(biosecurity), 화학 무기 관련 능력 등 국가 안보 직결 위험에 집중된다. 일부 평가는 기밀 환경(classified environments)에서 수행되며, 사전 검토 결과로 출시 자체를 막는 강제력은 없지만, 위험 발견 시 발표 전에 완화 조치를 협의할 수 있는 통로가 생긴 것이다.

상무장관 Howard Lutnick은 발표문에서 이번 리브랜드를 "국가 안보를 명분 삼은 규제(regulation used under the guise of national security)에서 멀어지는 움직임"이라고 표현했다. AI Safety Institute라는 이름이 제재성 규제 색을 띤 반면, CAISI는 평가·표준·연구라는 비강제적 협력 모델로 자리잡겠다는 신호다.

5개 랩의 입장 차이

OpenAI와 Anthropic은 2024년부터 자발적으로 AISI에 모델을 미리 제공해왔다. 차이는 OpenAI의 합의가 광범위했던 반면, Anthropic은 더 좁은 범위의 사이버·생물 위험 평가에 집중했다는 점이다. 이번 재협상에서 두 회사는 AI Action Plan의 새 방향에 맞춰 조건을 다시 짠 것으로 보도됐다.

Google DeepMind, Microsoft, xAI는 처음으로 공식 합의를 체결한 그룹이다. xAI는 Elon Musk가 그동안 정부 AI 안전 검토를 비판적으로 다뤄온 점에서 의외라는 반응이 나온다. 그러나 5월 6일 Anthropic-SpaceX 컴퓨트 합의를 포함해 Musk의 AI 정책 스탠스가 최근 빠르게 변하고 있다는 분석도 있다.

다섯 랩이 동시에 같은 평가 우산 아래 들어가면서, "프론티어 모델 출시 전 정부 사전 검토"가 미국 AI 산업에서 사실상 표준 절차가 됐다. 단, 모든 합의가 자발적이라는 점은 변하지 않는다.

트럼프 AI Action Plan과 CAISI의 위치

CAISI를 평가 허브로 자리잡히는 흐름은 트럼프 대통령이 2025년 7월 발표한 AI Action Plan의 구체적 실행이다. Plan은 CAISI를 "AI 평가 생태계(AI evaluations ecosystem)"의 일부로, 국가 안보 관련 모델 평가를 주도하는 기관으로 명시했다.

CAISI는 출범 이후 지금까지 40개 이상의 모델 평가를 완료했다. 여기에는 미공개 SOTA 시스템 평가도 포함된다. 단, 평가 결과 자체는 거의 공개되지 않으며, 발견된 위험은 해당 기업과 비공개로 공유된다.

조직 구조는 다음과 같이 정리된다.

• 상위: 미 상무부 (Department of Commerce, Howard Lutnick)
• 소속: NIST (National Institute of Standards and Technology)
• 이전 명칭: AI Safety Institute (AISI, 2023 출범)
• 현재 명칭: Center for AI Standards and Innovation (CAISI, 2025년 6월 리브랜드)
• 역할: 프론티어 모델 사전·사후 평가, AI 보안 연구, 표준 개발

업계와 시민사회의 반응

업계는 대체로 환영하는 분위기다. 합의 자체가 비강제적이고, 정부와의 평가 협력은 출시 후 규제 리스크를 줄이는 보험 성격이 있기 때문이다. 평가 통과를 마케팅 차별화로 활용할 여지도 있다.

반면 일부 시민사회 단체와 AI 안전 연구자들은 강제력 부재를 지적한다. 평가 결과 위험이 확인돼도 출시를 막을 법적 권한이 CAISI에 없고, 합의 조건도 비공개라는 점에서 실효성에 의문을 제기하는 분석도 있다. AI Action Plan이 안전 조항 강화보다 산업 진흥을 강조한 만큼, CAISI의 평가가 "도장 찍기"로 전락할 가능성을 우려하는 목소리도 있다.

평가 영역에 화학 무기, 생물 무기 같은 high-risk 시나리오가 포함된 점은 주목할 만하다. 4월 Anthropic의 Mythos Preview가 zero-day 취약점 수천 개를 발견하면서, 프론티어 모델의 사이버 능력이 국가 안보 이슈로 빠르게 격상된 흐름과도 맞물린다.

필자의 시각

이번 합의는 미국 AI 거버넌스가 "강제 규제"에서 "자발적 평가 협력"으로 한 발 더 기울었음을 보여준다. EU의 AI Act가 위험 등급별 강제 의무를 부과하는 것과 비교하면, 미국은 산업 자율성과 정부 평가의 균형을 유지하는 모델을 선택한 셈이다.

다만 자발성에 의존하는 시스템의 한계는 분명하다. 어떤 모델이 평가되고, 어떤 위험이 발견됐고, 어떻게 완화됐는지가 거의 공개되지 않으면, 시민과 학계는 결과를 검증할 방법이 없다. 평가 보고서의 일부라도 비식별 형태로 공개되는 절차가 마련돼야 CAISI가 실질적인 신뢰 인프라가 될 수 있을 것이라고 본다.

xAI의 합류는 단순한 정책 이벤트가 아니라 회사의 시그널링이다. 정부와 협력하는 모습을 보여주는 것이 향후 국방·연방 계약 입찰에서 점수가 되기 때문이다. Pentagon 8개사 IL6·IL7 계약에서 Anthropic만 빠졌던 사례가 보여주듯, 정부 AI 시장은 이미 대형 시장이 되어가고 있다.

앞으로 지켜볼 포인트

• CAISI 평가 결과가 어느 정도까지 공개되는지 (현재 거의 비공개)
• 5개 랩이 제출하는 모델의 빈도와 깊이 (메이저 릴리스만? 마이너 업데이트도?)
• 평가에서 위험이 발견된 사례가 외부에 알려지는 경로
• AI Action Plan의 후속 행정명령에서 강제 평가로 전환될 가능성
• 다른 국가들(EU AI Office, 영국 AISI)과의 평가 결과 상호 인정 여부

참고

• CNN: Microsoft, Google and xAI will let the government test their AI models before launch
• CNBC: Trump admin moves further into AI oversight, will test Google, Microsoft and xAI models
• Tom's Hardware: Google, Microsoft, and xAI agree to let US government test AI models before public release
• Engadget: Google, Microsoft and xAI agree to provide US government with early AI model access