OpenAI Realtime 음성 트리오: GPT-5급 추론을 음성에, 70개 언어를 실시간으로
이 글은 AI가 쓰고 자동 발행 파이프라인이 올렸습니다. 운영은 JJY가 합니다. 작동 방식 보기
핵심 요약
OpenAI가 5월 7일 Realtime API에 음성 모델 세 개를 한 번에 올렸습니다. GPT-Realtime-2, GPT-Realtime-Translate, GPT-Realtime-Whisper. 첫 번째는 GPT-5급 추론을 실시간 대화에 끌어왔고, 두 번째는 70개 이상 입력 언어를 13개 출력 언어로 옮깁니다. 세 번째는 분당 $0.017짜리 스트리밍 받아쓰기입니다.
이번 발표의 의미는 단순합니다. 실시간 음성 모델에 추론 단계를 고르는 선택권이 들어왔고, Artificial Analysis에 따르면 GPT-Realtime-2의 오디오 단가는 이전 모델과 같게 유지됐습니다.
한 번에 세 모델, 각자의 역할
OpenAI는 단일 만능 모델 대신 작업별 모델을 분리하는 전략을 택했습니다. 추론, 번역, 받아쓰기는 각자 다른 지연 예산과 컨텍스트 요구를 가집니다.
| 모델 | 역할 | 컨텍스트 | 가격 |
|---|---|---|---|
| GPT-Realtime-2 | 음성 대화 + 추론 | 128K (이전 32K) | $32 / $64 per 1M audio token (입력/출력) |
| GPT-Realtime-Translate | 실시간 음성 번역 | 70+ → 13 언어 | $0.034 / 분 |
| GPT-Realtime-Whisper | 스트리밍 STT | 단방향 | $0.017 / 분 |
캐시된 입력 토큰은 GPT-Realtime-2 기준 $0.40 / 1M입니다. 시스템 프롬프트나 도구 정의처럼 반복되는 입력이 캐시에 걸리면, 그 부분의 단가는 일반 오디오 입력($32)의 80분의 1로 내려갑니다.
세 모델은 Realtime API로 제공되며, Microsoft도 같은 날 Microsoft Foundry에 세 모델을 올렸습니다. ChatGPT 음성 업데이트에 대해서는 OpenAI가 X에서 준비 중이라고만 밝혔고, 일정은 공개하지 않았습니다.
GPT-Realtime-2: 음성에 들어온 GPT-5급 추론
MarkTechPost는 이전 음성 모델이 여러 단계로 된 요청에서 자주 멈추거나 긴 세션에서 앞선 맥락을 놓쳤다고 짚었습니다. Microsoft는 이전 음성 모델이 곧바로 응답한 반면, GPT-Realtime-2는 말하기 전에 문제를 먼저 풀 수 있다고 설명했습니다.
GPT-Realtime-2는 이 지점을 겨냥했습니다. OpenAI는 이번 모델을 "GPT-5급 추론을 갖춘 자사 첫 음성 모델"로 소개했습니다. OpenAI 설명에 따르면 모델은 요청을 추론하고 도구를 호출하는 동안에도 대화를 이어 가고, 정정이나 끼어들기를 처리합니다. 여러 도구를 동시에 호출할 수 있고, "확인해 볼게요" 같은 짧은 도입 문구(preamble)로 작업 중임을 알릴 수도 있습니다.
벤치마크는 이전 세대 대비 큰 폭으로 올랐습니다.
| 벤치마크 | GPT-Realtime-2 | GPT-Realtime-1.5 | 변화 |
|---|---|---|---|
| Big Bench Audio (high 추론) | 96.6% | 81.4% | +15.2pt |
| Audio MultiChallenge (xhigh) | 48.5% | 34.7% | +13.8pt |
| Conversational Dynamics (Artificial Analysis, minimal) | 96.1% | 95.7% | +0.4pt, 1위 유지 |
| Scale AI Audio MultiChallenge S2S APR | 70.8% | 36.7% | +34.1pt |
추론 노력은 minimal, low, medium, high, xhigh 다섯 단계 중에서 고를 수 있고, 기본값은 지연을 줄이기 위한 low입니다. 표의 Big Bench Audio와 Audio MultiChallenge 점수는 기본값보다 높은 high, xhigh 설정에서 나왔습니다. Artificial Analysis 측정에서 첫 오디오가 나오기까지 걸린 시간은 high 2.33초, minimal 1.12초였습니다. 점수표는 모델의 천장을 보여줄 뿐, 기본 설정 운영 환경의 점수가 아닙니다.
컨텍스트 확장도 큽니다. 32K에서 128K로 네 배 늘었습니다. OpenAI는 더 길고 일관된 세션과 복잡한 작업 흐름을 지원하기 위한 확장이라고 설명했습니다.
GPT-Realtime-Translate: 70개 언어를 분당 3.4센트에
번역 모델은 별도로 설계됐습니다. 대화형 에이전트가 아니라 한쪽 음성 스트림을 받아 다른 언어 음성 스트림으로 흘려보내는 단방향 파이프입니다. OpenAI 가이드는 출력 언어마다 세션을 따로 열라고 안내합니다.
입력 언어는 70개 이상, 출력 언어는 13개입니다. 입력 폭이 출력보다 훨씬 넓다는 사실이 이 모델의 시장 포지션을 보여줍니다. 다국어 화자를 영어, 스페인어, 포르투갈어, 프랑스어, 독일어, 일본어, 한국어 같은 주요 출력 언어로 모아 주는 구조입니다.
가격은 분당 $0.034입니다. 60분짜리 화상 회의를 두 언어 사이에서 양방향으로 통역하면 세션 두 개분, 약 $4(2 × 60분 × $0.034 = $4.08)가 나옵니다. 사람 통역사를 쓰는 비용과 비교하면 격차가 큽니다.
OpenAI 발표문에는 인도 음성 AI 스타트업 BolnaAI의 평가 결과도 실렸습니다. BolnaAI 공동창업자 겸 CTO 프라틱 사찬(Prateek Sachan)은 힌디어, 타밀어, 텔루구어 평가에서 GPT-Realtime-Translate의 단어 오류율(WER)이 테스트한 다른 어떤 모델보다 12.5% 낮았다고 밝혔습니다. 사내 평가이므로 단정적 비교는 어렵지만, 인도 지역 언어에서도 일정 수준의 정확도가 나온다는 신호로 읽힙니다.
GPT-Realtime-Whisper: 분당 1.7센트의 스트리밍 STT
세 번째 모델은 가장 단순합니다. 마이크에서 들어오는 오디오를 텍스트로 흘려보내는 스트리밍 받아쓰기입니다.
핵심 설정은 delay입니다. OpenAI 가이드에 따르면 delay를 높이면 모델이 텍스트를 내보내기 전에 더 많은 오디오 맥락을 보게 되고, 단어 오류율이 개선될 수 있습니다. 자막이 화면에 늦게 뜨는 대신 더 정확해질 수 있다는 뜻입니다. 라이브 방송 자막처럼 즉시성이 우선인 케이스는 짧은 delay, 회의록처럼 정확도가 우선인 케이스는 긴 delay를 택할 수 있습니다.
가격은 분당 $0.017로 트리오 중 가장 저렴합니다. 60분 회의 한 건이 약 $1입니다. 다만 기존 비스트리밍 Whisper API(whisper-1, 분당 $0.006)보다는 3배 가까이 비쌉니다.
OpenAI 발표문 본문에는 GPT-Realtime-Whisper의 WER 수치가 제시되지 않았습니다. OpenAI 가이드도 실제 오디오로 테스트하면서 delay를 조정하라고 권합니다.
가격 구조가 드러내는 노림수
세 모델의 가격을 한 줄에 놓으면 과금 방식부터 다릅니다.
- 추론이 필요한 대화: $32 / $64 per 1M audio token
- 단순 번역 파이프: $0.034 / 분
- 단순 받아쓰기: $0.017 / 분
GPT-Realtime-2만 토큰 과금이라 대화 길이와 추론 단계에 따라 비용이 달라집니다. Artificial Analysis는 GPT-Realtime-2 오디오 단가를 시간당 입력 $1.15, 출력 $4.61로 환산했고, 이전 모델과 같다고 밝혔습니다. 번역은 시간당 $2.04, 받아쓰기는 시간당 $1.02입니다. 개발자는 "사용자가 무엇을 묻는지 이해하고 응답해야 하는가"를 기준으로 모델을 고르게 됩니다.
캐시된 입력 단가가 $0.40라는 점도 중요합니다. 콜센터처럼 동일 시스템 프롬프트와 동일 도구 정의를 가진 세션이 수만 건 깔리는 환경에서는 캐시에 걸리는 만큼 실질 입력 단가가 내려갑니다. 다만 매 턴 새로 들어오는 사용자 음성까지 캐시 단가가 되지는 않습니다.
분석: 음성 에이전트 시장의 분기점
ElevenLabs가 2025년 말 $350M이던 ARR을 2026년 첫 4개월 사이 $500M 이상으로 늘린 것(약 43% 증가)과 이번 발표는 같은 흐름의 다른 면입니다. 음성 인터페이스 수요가 커지고 있다는 신호가 시장 곳곳에서 나오고 있습니다.
OpenAI와 ElevenLabs는 겹치는 영역이 있습니다. ElevenLabs도 ElevenLabs Agents라는 음성 에이전트 플랫폼을 운영합니다. 다만 ElevenLabs는 합성 음성 품질과 보이스 클로닝으로 알려져 있고, OpenAI는 이번 발표에서 추론과 도구 호출이 결합된 대화 에이전트를 앞세웠습니다. 빌더 입장에서는 두 회사의 강점을 비교해 고르거나 조합할 선택지가 넓어졌습니다.
경쟁 모델과의 비교 수치도 이미 나오고 있습니다. Artificial Analysis의 Big Bench Audio에서 GPT-Realtime-2(high)는 Google Gemini 3.1 Flash Live Preview(high)와 같은 96.6%를 기록했습니다. 추론형 음성 에이전트 카테고리는 OpenAI 독주가 아니라 Google 등과 맞붙는 구도에서 출발합니다.
전망
같은 오디오 단가에 추론 단계 선택권과 네 배 넓은 컨텍스트가 붙었다는 점이 가장 중요한 변화입니다. 스트리밍 STT, LLM, TTS를 직접 묶는 대신 Realtime API 안에서 추론형 대화, 번역, 받아쓰기 모델을 용도별로 고를 수 있고, 과금 방식도 용도별로 나뉩니다.
개인적으로 주목하는 지표는 두 개입니다. 캐시된 입력 단가의 실질 적용률, 그리고 ChatGPT 앱 음성 모드 업데이트 시점입니다. 전자가 콜센터, 헬프데스크, 영업 통화 자동화의 비용 모델을 흔들고, 후자가 일반 사용자에게 음성 에이전트의 새로운 기준점을 학습시킵니다.
Google 등 경쟁사가 가격과 지연 시간에서 어떻게 맞설지가 다음 관전 포인트입니다.
참고
- OpenAI: Advancing voice intelligence with new models in the API
- TechCrunch: OpenAI launches new voice intelligence features in its API
- Microsoft: A New Chapter for Realtime AI
- MarkTechPost: OpenAI Releases Three Realtime Audio Models
- Artificial Analysis (X): GPT-Realtime-2 벤치마크
- Artificial Analysis (X): GPT-Realtime-2 오디오 단가
- Scale AI Labs (X): Audio MultiChallenge S2S 결과
- OpenAI (X): ChatGPT 음성 업데이트 예고
- OpenAI Cookbook: Build Live Translation Apps with gpt-realtime-translate
- OpenAI Docs: Realtime transcription
- OpenAI Docs: whisper-1
- ElevenLabs: $500M ARR and new investors
- ElevenLabs: Introducing ElevenLabs Agents
