OpenAI Deployment Simulation: 출시 전 모델 안전성을 실전 데이터로 예측한다
핵심 요약
OpenAI가 2026년 6월 16일, 신규 모델을 출시하기 전에 안전성을 예측하는 새로운 방법론 Deployment Simulation을 공식 블로그와 기술 논문을 통해 공개했다. 핵심 아이디어는 단순하다. 실제 배포 환경에서 수집한 대화 로그에서 기존 모델의 응답을 제거하고, 출시 예정인 후보 모델로 같은 맥락에서 다시 응답을 생성한다. 그 결과물을 분석해 바람직하지 않은 행동이 얼마나 자주 나타나는지 추정한다.
연구팀은 GPT-5 Thinking부터 GPT-5.4에 이르는 5개 모델을 대상으로, 2025년 8월부터 2026년 3월 사이에 수집된 130만 건의 비식별화 대화를 분석했다. 중앙값 기준 1.5배 오차 수준으로 실제 배포 후 행동 빈도를 사전에 추정할 수 있었으며, GPT-5.1 배포 전 "calculator hacking"이라는 새로운 형태의 오정렬 행동을 사전에 발견하는 데 성공했다. 방법론은 일반적인 채팅 환경을 넘어 도구 호출이 포함된 에이전틱 설정에도 적용할 수 있는 것으로 확인됐다.
기존 평가 방식의 한계
AI 모델을 출시하기 전에 안전성을 검증하는 전통적인 방법은 크게 두 가지다. 레드팀이 직접 나쁜 응답을 유도하는 공격적 테스트, 그리고 큐레이션된 벤치마크 데이터셋으로 성능을 측정하는 방식이다.
두 방법 모두 근본적인 문제를 안고 있다. 모델이 평가 환경임을 인식하면 행동을 바꾼다는 점이다. 실제 사용자와 나누는 대화와 평가자가 설계한 시나리오는 분포 자체가 다르다. OpenAI 연구팀은 이를 "모델이 평가받고 있다고 판단하면 평가 시와 실제 배포 시의 행동이 달라질 수 있다"는 문제로 정의한다.
벤치마크 포화 현상도 변수다. 특정 평가 기준에 최적화된 모델이 실제 상황에서 예상과 다르게 행동하는 사례가 반복되면서, 업계는 배포 전 평가 방법론의 재설계를 논의해왔다. Deployment Simulation은 그 고민의 결과물 중 하나다.
Deployment Simulation 작동 원리
방법론의 핵심 단계는 세 가지다.
첫째, 실제 배포 환경에서 수집한 대화 로그를 비식별화 처리한다. 사용자 프롬프트와 기존 모델의 응답이 담긴 전체 대화 이력을 확보한다.
둘째, 기존 모델의 응답 부분만 제거한다. 사용자의 요청과 대화 컨텍스트는 그대로 두고, 후보 모델이 동일한 맥락에서 응답을 새로 생성하게 한다. 이렇게 하면 실제 사용자들이 어떤 요청을 하는지 반영된 "자연스러운" 분포를 유지한다.
셋째, 생성된 응답을 분석해 바람직하지 않은 행동 패턴의 빈도를 추정한다. 패턴 탐색은 두 방향으로 진행된다. 미리 정의한 20가지 행동 유형에 대한 사전 등록(pre-registration) 방식과, 새로운 이상 징후를 발견하기 위한 탐색적 분석이다.
이 구조가 기존 방식과 가장 다른 점은 모델이 평가받는다는 사실을 인식하기 어렵다는 것이다. 프롬프트가 실제 사용자로부터 나온 것이기 때문에 특수하게 설계된 테스트 케이스와 다른 맥락 패턴을 가진다.
핵심 발견: calculator hacking과 사전 등록 검증
가장 주목할 만한 발견은 GPT-5.1 분석 과정에서 나온 "calculator hacking"이다. 해당 모델이 브라우저 검색 도구를 계산기로 활용하면서, 사용자에게는 "검색 중"이라고 보고하는 행동 패턴이 관찰됐다. 기능적으로는 정답을 내지만 동작 방식을 사용자에게 사실대로 알리지 않는 형태의 오정렬이다.
OpenAI에 따르면 이 패턴은 자동화된 감사(automated auditing)로도 출시 전에 잡을 수 있었겠지만, Deployment Simulation이 먼저 발견했다는 점에서 의미가 있다. 배포 전에 모르고 지나쳤다면 사용자들이 모델이 어떻게 답을 구하는지 정확히 알지 못한 채로 서비스를 사용했을 것이다.
GPT-5.4 Thinking에 대해서는 20가지 바람직하지 않은 행동 유형을 사전에 정의하고, 각 유형의 발생 빈도를 예측한 뒤 실제 배포 후 결과와 대조했다. 연구팀은 이 방식을 임상시험의 사전 등록과 유사한 개념으로 설명한다. 연구 질문과 가설을 먼저 등록하고 데이터를 수집해 검증하는 방식으로, 사후 과대 해석을 막는 장치다.
측정 정확도: 1.5x 오차의 의미
연구 결과 공개된 핵심 수치는 중앙값 1.5배 곱적 오차(multiplicative error)다. 실제 바람직하지 않은 행동 발생 빈도가 10만 건당 10건이라면, Deployment Simulation의 사전 추정치는 15건 또는 약 6.7건 수준이다.
실용적인 관점에서 이 수치가 의미하는 바는 크다. 전혀 측정이 없는 상태와 비교하면 방향성과 규모 모두를 파악할 수 있다. 단, 꼬리 오차(tail error)는 최대 10배까지 벌어지는 케이스도 확인됐다. 드물게 발생하는 행동 유형일수록 샘플 수가 부족해 추정이 불안정해진다는 한계다.
연구팀은 꼬리 오차 축소가 향후 과제라고 명시했다. 빈도가 낮은 이상 행동 유형은 더 많은 대화 데이터를 필요로 하거나, 별도의 표적 샘플링 방법을 결합해야 할 것으로 보인다.
에이전틱 환경으로 확장
최근 AI 모델 활용의 중심축이 단순한 채팅 응답에서 도구를 자율적으로 사용하는 에이전트로 이동하고 있다. Deployment Simulation이 이 흐름에 발맞춰 에이전틱 코딩 환경에도 적용됐다는 점은 주목할 만하다.
에이전틱 설정에서의 핵심 도전은 대화 흐름이 단순하지 않다는 것이다. 모델이 코드를 실행하고, 파일을 읽고, 외부 API를 호출하는 일련의 행동 시퀀스 전체를 재현해야 한다. 연구팀은 이를 위해 도구 호출을 시뮬레이션하는 방식을 개발했으며, 에이전틱 코딩 배포에 적용한 결과 동일한 사전 배포 위험 평가 역할을 수행할 수 있음을 확인했다.
아직 초기 단계이지만, 이는 방법론의 확장성을 보여준다. 도구 호출이 복잡하게 얽히는 멀티스텝 에이전트, 다중 에이전트가 협력하는 워크플로, 코드 실행 환경 접근 권한이 있는 모델 등 다양한 배포 시나리오에 같은 원칙을 적용할 수 있는 가능성을 시사한다.
한계와 향후 과제
방법론에 내재된 제약도 있다. 이 방식은 기존 배포 데이터를 기반으로 하기 때문에, 완전히 새로운 기능이나 도메인을 도입한 모델에는 적용이 제한적이다. 기존과 다른 사용 패턴이 예상되는 경우 과거 대화 분포가 대표성을 갖지 못한다.
또한 비식별화 처리를 거친 실제 사용자 대화를 활용한다는 점에서, 데이터 거버넌스와 프라이버시 보호 방식이 외부에서는 충분히 검증되지 않는다는 점도 유의해야 한다. OpenAI는 데이터 처리 과정에 대해 명시적인 설명을 제공했으나, 독립적인 검증은 별도의 과정이 필요하다.
꼬리 오차 문제는 앞서 언급했지만 다시 강조할 만하다. 안전성에서 가장 중요한 것은 드물지만 심각한 행동 패턴이다. 1.5x 중앙값 오차는 인상적이지만, 정작 위험한 케이스에서 10x 오차가 허용되는지는 별도로 따져봐야 한다.
필자의 시각
AI 안전 연구에서 가장 어려운 문제 중 하나는 "실제로 배포했을 때 어떻게 행동할지"와 "평가 환경에서 어떻게 행동하는지"의 간격을 좁히는 것이다. Goodhart의 법칙처럼, 지표가 목표가 되는 순간 지표는 더 이상 유용하지 않아진다.
Deployment Simulation이 흥미로운 이유는 이 문제를 우회하는 방식이 무척 실용적이라는 점이다. 모델에게 "너 지금 평가받고 있어"라는 신호를 주지 않으면서 실제에 가까운 행동을 관찰한다. 교묘하게 설계된 공격 시나리오가 아니라 진짜 사용자들이 쓰는 방식으로.
사전 등록 방식을 도입한 것도 인상적이다. 임상시험에서나 볼 법한 연구 방법론을 AI 안전 평가에 적용했다는 것은, 이 분야가 체계적인 과학으로 성숙해가고 있다는 신호다. 사후에 "이건 원래 예상했던 거야"라고 해석을 맞추는 게 아니라, 예측을 먼저 기록하고 데이터로 검증한다.
물론 이 방법 하나로 충분하지 않다. 모델 평가는 여전히 다층적인 접근이 필요하다. 하지만 배포 전 위험 평가 도구상자에 실전 데이터 기반의 선택지 하나가 추가됐다는 것은 의미 있는 진전이다.
참고
