Gemma 4 MTP 드래프터: 추론 속도 최대 3배, 출력 품질은 그대로

핵심 요약

2026년 5월 5일, Google이 Gemma 4 전 라인업(E2B, E4B, 26B MoE, 31B)을 대상으로 MTP(Multi-Token Prediction) 드래프터를 공개했다. 단순히 빠른 버전을 내놓은 게 아니다. 최종 검증은 기존 Gemma 4 모델이 그대로 맡기 때문에 출력 품질 저하 없이, 모델과 하드웨어에 따라 추론 속도를 최대 3배까지 끌어올린다는 게 Google 설명이다.

핵심은 투기적 디코딩(speculative decoding)이다. 작은 드래프트 모델이 타겟 모델을 대신해 여러 토큰을 먼저 예측하고, 타겟 모델은 한 번의 순전파로 그것을 통째로 검증한다. 동의하면 드래프트 시퀀스 전체를 1회 순전파로 수락하고, 추가 토큰 1개도 함께 내놓는다.

4월 초 공개된 Gemma 4가 첫 몇 주 만에 6,000만 다운로드를 넘어선 시점에 나온 업데이트다. Apache 2.0 라이선스로 제공되며, Hugging Face와 Kaggle에서 즉시 받을 수 있다.

MTP 드래프터의 작동 원리

토큰을 하나씩 순서대로 생성하는 표준 자기회귀(autoregressive) 추론은 GPU 연산 능력의 상당 부분을 낭비한다. 메모리 대역폭에 묶여있기 때문이다. 추론 병목은 사실 연산이 아니라 메모리 읽기에 있다.

MTP는 이 구조를 우회한다. 드래프트 모델은 타겟 모델의 KV 캐시를 공유하고 타겟 모델의 활성화(마지막 레이어 출력)를 그대로 활용하기 때문에 컨텍스트를 다시 계산할 필요가 없다. 입력 임베딩 테이블도 타겟 모델과 함께 쓴다. 타겟 모델이 이미 처리한 문맥을 그대로 빌려 쓰는 셈이다.

투기적 디코딩의 흐름은 세 단계다:

1. 드래프트: 작은 드래프트 모델이 N개 토큰을 예측한다
2. 검증: 타겟 모델이 단 한 번의 순전파로 N개를 병렬 검증한다
3. 수락: 타겟 모델이 모두 동의하면 자기 토큰 1개를 더해, 평소 토큰 1개를 생성하는 시간에 N+1개 토큰을 출력한다

타겟 모델이 드래프트 토큰을 거부하면 그 뒤 토큰은 버리고, 거부한 자리의 올바른 토큰은 타겟 모델이 직접 내놓는다. 드래프트 모델은 그 토큰부터 다시 예측을 이어간다. 최종 검증을 타겟 모델이 맡기 때문에 Google은 출력 품질과 추론(reasoning) 정확도에 저하가 없다고 설명하고, 공식 문서도 표준 자기회귀 생성과 정확히 같은 품질을 보장한다고 적었다.

하드웨어별 실제 성능: "3배"는 어떤 조건에서 나오나

3배라는 숫자는 최상의 조건이다. Google 공식 차트에서 최대 3.0배는 31B 모델을 NVIDIA A100에서 돌렸을 때, 최대 3.1배는 E4B를 Pixel TPU에서 돌렸을 때다. 측정 조건은 배치 크기 1, gamma=4이고, 수치는 작업에 따라 달라지는 최댓값(초당 토큰 기준)이다.

가장 낮은 26B MoE(A100)의 1.5배도 무시할 수 없는 수치다. 같은 하드웨어에서 초당 생성 토큰이 50% 늘어난다는 뜻이고, 이는 응답 대기 시간 단축으로 이어진다.

26B MoE가 상대적으로 낮은 이유도 Google이 설명했다. 토큰마다 활성화되는 전문가(expert)가 달라, 드래프트 토큰을 검증할 때 추가 전문가 가중치를 메모리에서 불러와야 하기 때문이다. 배치 크기 1에서는 이득이 제한적이지만, Apple Silicon에서 배치 크기를 4~8로 키우면 최대 약 2.2배까지 오르고 NVIDIA A100에서도 배치를 키우면 비슷한 개선이 나온다고 밝혔다. 블로그의 데모 영상은 26B 모델을 NVIDIA RTX PRO 6000에서 돌려 표준 추론과 MTP 드래프터의 초당 토큰을 나란히 비교했다.

엣지 모델인 E2B와 E4B에는 별도 최적화를 추가했다. 이 크기에서는 최종 로짓 계산이 큰 병목이라 임베더에 효율적인 클러스터링 기법을 적용했다. 비슷한 토큰을 클러스터로 묶어 유력한 클러스터를 먼저 고른 뒤, 그 안의 토큰만 계산하는 방식이다.

생태계 지원 범위

MTP 드래프터는 공개 당일부터 주요 추론 프레임워크에서 쓸 수 있다. Google이 안내한 스택은 다음과 같다:

• transformers (Hugging Face 기본 라이브러리)
• MLX (Apple Silicon 최적화)
• vLLM (프로덕션 서빙)
• SGLang (구조화 생성)
• Ollama (로컬 실행)
• LiteRT-LM, Google AI Edge Gallery (Android·iOS 온디바이스)

transformers 기준으로는 4레이어짜리 드래프터(assistant) 모델을 따로 불러와 generate 함수에 assistant_model로 넘기기만 하면 MTP가 켜진다. 타겟 모델은 기존 Gemma 4를 그대로 쓴다.

Gemma 4 MTP 드래프터는 Gemma 4와 같은 Apache 2.0 라이선스다. 상용 프로덕트에도 쓸 수 있다.

왜 지금 이 업데이트인가

공개 후 첫 몇 주 만에 6,000만 다운로드는 빠른 채택 속도다. 그만큼 실제 배포 사례도 빠르게 쌓였을 것이고, Google도 이번 발표에서 개발자에게는 추론 속도가 프로덕션 배포의 주요 병목인 경우가 많다고 짚었다.

클라우드 API를 쓰지 않고 Gemma를 직접 서빙하면 GPU 시간이 곧 비용이다. 응답 하나를 만드는 데 드는 GPU 시간이 줄면 그만큼 비용도 준다. 다만 Google 수치는 배치 크기 1 기준의 초당 토큰 속도라, 동시 요청이 많은 서빙 환경에서 처리량이 같은 비율로 늘어 서버 대수를 줄일 수 있을지는 따로 측정해 봐야 한다.

타이밍도 흥미롭다. 같은 날 OpenAI는 ChatGPT 기본 모델을 GPT-5.5 Instant로 바꿨고, Anthropic은 약 3주 전인 4월 16일 Claude Opus 4.7을 내놨다. 클라우드 모델 경쟁이 이어지는 사이, Google은 오픈 모델 진영에서 추론 효율이라는 다른 전선을 열었다.

필자의 시각

MTP는 새로운 기술이 아니다. 투기적 디코딩은 Google 연구진이 2022년 논문(Fast Inference from Transformers via Speculative Decoding)에서 소개한 기법이고, 이미 일부 프레임워크에서 쓰이고 있었다. Google이 한 일은 이걸 Gemma 4 전용 드래프터로 공식 패키징하고, 품질 저하가 없다는 보장과 함께 내놓은 것이다.

"Zero quality degradation"이라는 표현에 주목할 필요가 있다. 속도를 위해 출력을 조금 희생하는 근사치 방식이 아니라는 뜻이다. 이 보장이 없으면 프로덕션 배포자들은 MTP 도입을 주저할 것이다. 출력 품질이 달라지면 평가와 테스트를 다시 돌려야 하기 때문이다.

로컬 AI 시장에서 추론 속도는 곧 사용자 경험이다. Google 차트 기준 스마트폰용 E2B는 Samsung S26 모바일 GPU에서 최대 1.8배, Pixel TPU에서 최대 2.8배 빨라진다. 1.8배면 같은 길이의 답변을 생성하는 시간이 약 44% 줄어든다. 대화형 UI에서는 이런 차이가 체감 반응성을 가른다. Google은 출력이 빨라지는 만큼 배터리도 아낄 수 있다고 설명했다.

참고

• Google AI Blog: Accelerating Gemma 4 with multi-token prediction drafters
• MarkTechPost: Google AI Releases MTP Drafters for Gemma 4
• Google AI for Developers: MTP Overview
• Google AI for Developers: MTP with Hugging Face Transformers
• NYU Shanghai RITS: Gemma 4 Gets Multi-Token Prediction Drafters
• Google Blog: Gemma 4 (2026년 4월 2일)
• GIGAZINE: GPT-5.5 Instant becomes ChatGPT default model
• Anthropic: Introducing Claude Opus 4.7