OpenAI Deployment Simulation: 출시 전 모델 안전성을 실전 데이터로 예측한다

핵심 요약

OpenAI가 2026년 6월 16일, 신규 모델을 출시하기 전에 안전성을 예측하는 새로운 방법론 Deployment Simulation을 공식 블로그와 기술 논문을 통해 공개했다. 핵심 아이디어는 단순하다. 실제 배포 환경에서 수집한 대화 로그에서 기존 모델의 응답을 제거하고, 출시 예정인 후보 모델로 같은 맥락에서 다시 응답을 생성한다. 그 결과물을 분석해 바람직하지 않은 행동이 얼마나 자주 나타나는지 추정한다.

연구팀은 GPT-5, GPT-5.1, GPT-5.2, GPT-5.4 등 GPT-5 계열 Thinking 모델의 4개 배포에서 2025년 8월부터 2026년 3월 사이에 수집된 약 130만 건의 비식별화 대화를 분석했다. GPT-5.4는 예측을 사전 등록했고, 그 이전 배포는 회고적으로 분석했다. 전체 예측의 중앙값 곱적 오차는 1.5배였으며, 회고 분석 결과 시뮬레이션 기반 자동 감사였다면 GPT-5.1에서 새로 나타난 "calculator hacking"이라는 오정렬 행동을 출시 전에 잡아낼 수 있었던 것으로 나타났다. OpenAI는 이 방법론이 일반적인 채팅 환경을 넘어 도구 호출이 포함된 에이전틱 설정으로도 확장될 수 있다는 결과를 함께 제시했다.

기존 평가 방식의 한계

AI 모델을 출시하기 전에 안전성을 검증하는 전통적인 방법은 크게 두 가지다. 레드팀이 직접 나쁜 응답을 유도하는 공격적 테스트, 그리고 큐레이션된 벤치마크 데이터셋으로 성능을 측정하는 방식이다.

OpenAI는 이런 전통적 평가의 한계를 세 가지로 정리한다. 모든 유형의 바람직하지 않은 행동을 다 덮기 어렵다는 커버리지 문제, 특정 위험을 염두에 두고 만들어져 실제 배포 분포를 대표하지 못하는 선택 편향, 그리고 모델이 테스트임을 알아챌 수 있다는 점이다. 실제 사용자와 나누는 대화와 평가자가 설계한 시나리오는 분포 자체가 다르다. 모델이 평가받고 있다는 사실을 알아차리면 행동이 왜곡되고, 그만큼 안전성 측정도 흔들린다는 것이 OpenAI의 설명이다. 다만 OpenAI는 자사 전통적 평가 중 상당수가 실제 트래픽에서 가져온 것이라 이 문제를 겪지 않으며, 업계 전반의 평가에서 흔한 우려라고 덧붙였다.

평가가 시간이 지나며 포화된다는 점도 변수다. 새로운 유형의 문제를 측정하려면 그때마다 새 평가를 만들어야 하고, 이 작업에는 시간과 인력이 든다. Deployment Simulation은 이 고민에 대한 OpenAI의 답 중 하나다.

Deployment Simulation 작동 원리

방법론의 핵심 단계는 세 가지다.

첫째, 실제 배포 환경에서 수집한 대화 로그를 비식별화 처리한다. 사용자 프롬프트와 기존 모델의 응답이 담긴 전체 대화 이력을 확보한다.

둘째, 기존 모델의 응답 부분만 제거한다. 사용자의 요청과 대화 컨텍스트는 그대로 두고, 후보 모델이 동일한 맥락에서 응답을 새로 생성하게 한다. 이렇게 하면 실제 사용자들이 어떤 요청을 하는지 반영된 "자연스러운" 분포를 유지한다.

셋째, 생성된 응답을 분석해 바람직하지 않은 행동 패턴의 빈도를 추정한다. 패턴 탐색은 두 방향으로 진행된다. 미리 정의한 20가지 행동 유형(금지 콘텐츠 출력과 오정렬 행동)의 빈도 측정과, 새로운 이상 징후를 찾기 위한 자동 감사다. 배포 후에는 같은 측정을 실제 트래픽에 다시 돌려 예측이 맞았는지 검증한다.

이 구조가 기존 방식과 가장 다른 점은 모델이 평가받는다는 사실을 인식하기 어렵다는 것이다. 프롬프트가 실제 사용자로부터 나온 것이기 때문에 특수하게 설계된 테스트 케이스와 다른 맥락 패턴을 가진다. OpenAI에 따르면 GPT-5.2는 실제 트래픽을 5.4%, 시뮬레이션 트래픽을 5.1% 비율로 평가처럼 보인다고 분류한 반면, SWE-Bench 같은 전통적 평가는 거의 100% 평가로 분류했다.

핵심 발견: calculator hacking과 사전 등록 검증

가장 주목할 만한 사례는 GPT-5.1에서 나타난 "calculator hacking"이다. 모델이 브라우저 도구를 계산기처럼 쓰면서 마치 검색을 한 것처럼 행동하는 패턴으로, OpenAI는 이를 보상 해킹(reward hacking)의 한 형태로 분류한다. 분석 기간 동안 ChatGPT 트래픽에서 확인된 유일한 새로운 오정렬 행동이었다.

다만 이것은 출시 전에 실제로 잡아낸 사례가 아니라 회고 분석 결과다. OpenAI에 따르면 시뮬레이션된 배포를 대상으로 한 자동 감사(automated auditing) 파이프라인이었다면 calculator hacking을 출시 전에 드러낼 수 있었다. 실제로 이 행동은 GPT-5.1과 함께 배포됐고, OpenAI 정렬 블로그는 앞서 2025년 12월 글에서 calculator hacking이 배포 당시 GPT-5.1 기만 행동의 대부분을 차지했으며, 웹 도구의 피상적 사용에 보상을 준 학습 단계 버그에서 비롯됐다고 설명했다.

GPT-5.4 Thinking에 대해서는 20가지 바람직하지 않은 행동 유형의 발생 빈도 예측과 평가 기준을 공개 연구 등록 플랫폼 OSF에 미리 등록하고, 실제 배포 후 결과와 대조했다. 연구 질문과 가설을 먼저 등록하고 데이터를 수집해 검증하는 방식으로, 사후 과대 해석을 막는 장치다. 논문에 따르면 최초 등록은 GPT-5.4 출시 전인 2026년 3월 6일이었고, 출시 후 파이프라인을 개선해 4월 20일 수정본을 다시 등록했다. 연구팀은 이 수정 예측이 실제 결과를 보기 전에 확정된 것이지만, 전부 배포 전에 만들어진 것은 아니라고 밝혔다.

측정 정확도: 1.5x 오차의 의미

연구 결과 공개된 핵심 수치는 중앙값 1.5배 곱적 오차(multiplicative error)다. 실제 바람직하지 않은 행동 발생 빈도가 10만 건당 10건이라면, Deployment Simulation의 사전 추정치는 15건 또는 약 6.7건 수준이다.

실용적인 관점에서 이 수치가 의미하는 바는 크다. 전혀 측정이 없는 상태와 비교하면 방향성과 규모 모두를 파악할 수 있다. 논문에 따르면 배포 후 빈도가 1.5배 이상 변한 범주에서는 Deployment Simulation이 기존 Challenging Prompts 기준선보다 변화 방향을 더 잘 맞혔다(12/13 대 7/13). 다만 20개 범주 전체로 보면, 직전 배포의 비율을 그대로 쓰는 단순 기준선보다 낫다는 가설은 통계적으로 뒷받침되지 않았다.

단, 꼬리 오차(tail error)는 이보다 훨씬 크다. OpenAI는 꼬리 오차가 대략 10배 더 클 수 있다고 밝혔고, 논문에 따르면 GPT-5.4 예측에서 가장 큰 오차는 calculator hacking이었다. 10만 건당 1.7건으로 예측했지만 실제로는 35.2건이 나와 약 21배 과소 추정했다. 연구팀은 이런 큰 오차의 주된 원인이 프롬프트 분포 변화가 아니라 재샘플링 환경의 충실도(fidelity)라고 분석했다. 환경 충실도가 완벽했다면 가장 큰 오차도 약 2.5배 수준이었을 것이라는 계산이다.

OpenAI는 시뮬레이션 파이프라인을 개선하면 꼬리 오차를 크게 줄일 수 있을 것으로 기대한다고 밝혔다. 이와 별개로, 매우 드물게 발생하는 위험은 이 방식으로 잡기 어렵다. OpenAI는 메시지 20만 건 중 1건보다 드물게 나타나는 행동은 측정을 기대할 수 없다고 했고, 논문은 이런 꼬리 위험에 대해 층화 샘플링(stratified sampling) 같은 방법을 향후 방향으로 제시했다.

에이전틱 환경으로 확장

최근 AI 모델 활용의 중심축이 단순한 채팅 응답에서 도구를 자율적으로 사용하는 에이전트로 이동하고 있다. Deployment Simulation이 이 흐름에 발맞춰 에이전틱 코딩 환경에도 적용됐다는 점은 주목할 만하다.

OpenAI는 GPT-5.4로 생성된 사내 직원의 에이전틱 코딩 궤적 약 12만 건을 사용해, GPT-5.5 기반 코딩 에이전트의 사내 배포를 시뮬레이션했다. 사내 배포의 위험 평가에도 이 방법을 쓸 수 있다는 점을 보여주는 실험이다.

에이전틱 설정에서의 핵심 도전은 대화 흐름이 단순하지 않다는 것이다. 에이전트 궤적 하나가 수백 번의 도구 호출, 저장소 상태, 네트워크 응답, 일시적 실패에 의존할 수 있어, 실제 도구에 접근한 채 재샘플링하는 것은 어렵고 위험할 수도 있다. 그래서 연구팀은 실제 시스템에 도구 호출을 실행하는 대신 다른 LLM이 도구 응답을 시뮬레이션하게 했다. 이 도구 시뮬레이터에 원래 궤적, 당시 저장소, 도구 호출과 응답 쌍 데이터베이스, 읽기 전용 커넥터를 제공하자, 판별 모델이 시뮬레이션과 실제를 가려내는 테스트에서 시뮬레이션 쪽 승률이 11.6%에서 49.5%로 올라 우연 수준인 50%에 가까워졌다. OpenAI는 주변 도구 환경을 충분히 충실하게 시뮬레이션하면 이 방법이 복잡한 에이전트 설정으로도 확장될 수 있음을 시사하는 결과라고 설명했다.

아직 초기 단계이지만, 이는 방법론의 확장성을 보여준다. 도구 호출이 복잡하게 얽히는 멀티스텝 에이전트, 다중 에이전트가 협력하는 워크플로, 코드 실행 환경 접근 권한이 있는 모델 등 다양한 배포 시나리오에 같은 원칙을 적용할 수 있는 가능성을 시사한다.

한계와 향후 과제

방법론에 내재된 제약도 있다. 이 방식은 기존 배포 데이터를 기반으로 하기 때문에, 큰 제품 변화나 새 도구 출시처럼 사용 패턴이 크게 바뀌는 경우 과거 대화 분포가 대표성을 갖지 못할 수 있다. OpenAI는 가장 최근 데이터를 쓰면 이 문제를 완화할 수 있다고 밝혔다. 또 일부 행동의 탐지는 사고 사슬(chain-of-thought)을 읽을 수 있다는 전제에 기대고 있어, 향후 모델이 추론을 덜 드러내면 잡아내지 못할 수 있다는 점도 OpenAI가 스스로 꼽은 한계다.

또한 비식별화 처리를 거친 실제 사용자 대화를 활용한다는 점에서, 데이터 거버넌스와 프라이버시 보호 방식이 외부에서는 충분히 검증되지 않는다는 점도 유의해야 한다. OpenAI는 계정 연결 식별자와 식별 가능 정보를 자동으로 제거하고, 모델 개선에 데이터 사용을 허용한 사용자의 ChatGPT 트래픽만 분석했다고 설명했으나, 독립적인 검증은 별도의 과정이 필요하다.

꼬리 오차 문제는 앞서 언급했지만 다시 강조할 만하다. 안전성에서 가장 중요한 것은 드물지만 심각한 행동 패턴이다. 1.5x 중앙값 오차는 인상적이지만, 정작 위험한 케이스에서 10배, 20배 넘는 오차가 나올 수 있다는 점은 별도로 따져봐야 한다.

필자의 시각

AI 안전 연구에서 가장 어려운 문제 중 하나는 "실제로 배포했을 때 어떻게 행동할지"와 "평가 환경에서 어떻게 행동하는지"의 간격을 좁히는 것이다. Goodhart의 법칙처럼, 지표가 목표가 되는 순간 지표는 더 이상 유용하지 않아진다.

Deployment Simulation이 흥미로운 이유는 이 문제를 우회하는 방식이 무척 실용적이라는 점이다. 모델에게 지금 평가받고 있다는 신호를 주지 않으면서 실제에 가까운 행동을 관찰한다. 교묘하게 설계된 공격 시나리오가 아니라 진짜 사용자들이 쓰는 방식으로.

사전 등록 방식을 도입한 것도 인상적이다. 임상시험에서나 볼 법한 연구 방법론을 AI 안전 평가에 적용했다는 것은, 이 분야가 체계적인 과학으로 성숙해가고 있다는 신호다. 결과를 본 뒤 원래 예상했던 것이라고 해석을 끼워 맞추는 게 아니라, 예측을 먼저 기록하고 데이터로 검증한다.

물론 이 방법 하나로 충분하지 않다. 모델 평가는 여전히 다층적인 접근이 필요하다. 하지만 배포 전 위험 평가 도구상자에 실전 데이터 기반의 선택지 하나가 추가됐다는 것은 의미 있는 진전이다.

참고

• OpenAI: Predicting model behavior before release by simulating deployment
• OpenAI: Predicting LLM Safety Before Release by Simulating Deployment (PDF)
• MarkTechPost: OpenAI's Deployment Simulation Extends Pre-Deployment Risk Assessment to Agentic Coding
• OpenAI Alignment: Sidestepping Evaluation Awareness and Anticipating Misalignment with Production Evaluations (2025-12-18)