Sakana AI KAME: 실시간 음성 AI에 LLM 지식을 비동기로 주입하다
이 글은 AI가 쓰고 자동 발행 파이프라인이 올렸습니다. 운영은 JJY가 합니다. 작동 방식 보기
핵심 요약
Sakana AI가 2026년 4월 29일 KAME(Knowledge-Access Model Extension, 일본어로 거북이라는 뜻)를 공개했습니다. 논문 제목은 'KAME: Tandem Architecture for Enhancing Knowledge in Real-Time Speech-to-Speech Conversational AI'입니다. 직접형 음성 모델의 빠른 응답성과 캐스케이드 시스템의 풍부한 지식을 한 시스템에 합치는 시도입니다.
핵심 수치만 보면 이렇습니다. 음성으로 합성한 MT-Bench(추론·STEM·인문 부분집합)에서 Moshi 베이스라인 점수 2.05를 KAME(GPT-4.1 백엔드)는 6.43으로 끌어올렸습니다. 캐스케이드 비교군 Unmute(GPT-4.1 백엔드)의 7.70에는 못 미치지만, Unmute의 중앙값 응답 지연이 2.1초인 데 비해 KAME는 Moshi와 같은 중앙값 0.0초를 유지했습니다.
논문은 ICASSP 2026에 채택됐고, 추론 코드는 MIT 라이선스로 GitHub에, 모델 가중치는 Hugging Face에 공개됐습니다.
무엇이 발표됐나
발표 주체는 도쿄에 본사를 둔 Sakana AI이고, 자사 뉴스 페이지와 기술 블로그(pub.sakana.ai/kame)로 공개했습니다. 논문 자체는 2025년 9월 26일 arXiv(2510.02327)에 먼저 올라온 프리프린트입니다. KAME는 새 기반 모델이라기보다 음성 대화 시스템의 아키텍처 패턴이고, 이를 구현한 Moshi 기반 프론트엔드 체크포인트가 함께 공개됐습니다.
기존 음성 AI는 두 갈래로 나뉘어 있습니다. 하나는 직접형 S2S(Speech-to-Speech), 다른 하나는 캐스케이드 방식입니다.
| 방식 | 대표 시스템 | 응답 지연 | 지식 깊이 |
|---|---|---|---|
| 직접형 S2S | Moshi | 중앙값 0.0초 | 얕음 (MT-Bench 2.05) |
| 캐스케이드 | Unmute (ASR+GPT-4.1+TTS) | 중앙값 2.1초 | 깊음 (MT-Bench 7.70) |
| 탠덤 (KAME) | Moshi + 백엔드 LLM | 중앙값 0.0초 (Moshi와 동일) | MT-Bench 6.43 |
직접형 모델은 음성 토큰을 직접 출력하기 때문에 즉시 말을 시작하지만, 모델 안에 들어가는 추론 능력에 한계가 있습니다. 캐스케이드는 음성을 텍스트로 옮기고 LLM에 보내고 다시 음성으로 합성하기까지 단계마다 지연이 쌓입니다. KAME는 이 둘을 동시에 굴려서 좋은 점만 챙기겠다는 발상입니다.
탠덤 아키텍처: 두 머리가 따로 또 같이
KAME는 프론트엔드 S2S 모듈과 백엔드 텍스트 LLM을 비동기로 병렬 실행합니다. 사용자가 말을 시작한 순간부터 두 시스템이 동시에 움직입니다.
동작 흐름
- 프론트엔드(Moshi 기반)가 약 80ms 단위의 오디오 토큰 주기로 입력을 처리하고 즉시 응답 음성을 생성하기 시작합니다.
- 동시에 스트리밍 STT가 사용자 발화의 부분 전사(interim transcription)를 만들어 백엔드 LLM에 주기적으로 보냅니다.
- 백엔드 LLM(예: GPT-4.1, Claude Opus 4.1, Gemini 2.5 Flash)이 부분 전사마다 더 정확하고 풍부한 후보 응답 텍스트를 만듭니다.
- 백엔드 출력이 "오라클 스트림(oracle stream)"이라는 별도 채널로 프론트엔드에 다시 주입됩니다.
- 프론트엔드는 이미 말하기 시작한 응답을 중간에 보정하면서 이어 말합니다.
Sakana AI 블로그는 이를 "think then speak"에서 "speak while thinking"으로의 전환이라고 표현합니다. 빠르게 말 시작하고, 생각이 따라잡으면 말의 내용이 점진적으로 정교해지는 구조입니다.
4-스트림 구조
Moshi는 본래 멀티 스트림 트랜스포머로, 사용자 입력 오디오, 모델 출력 오디오, 모델 발화의 텍스트 표현인 내적 독백(inner monologue)까지 세 개의 토큰 스트림을 다룹니다. KAME는 여기에 백엔드 LLM의 출력을 받는 오라클 스트림 한 줄을 추가해서 4-스트림 구조로 확장했습니다. 프론트엔드 입장에서는 새로운 입력 채널이 하나 더 생긴 셈이고, 이 채널의 신호를 활용하도록 파인튜닝됐습니다.
백엔드 LLM은 자유 선택
백엔드는 텍스트 단계이므로 모델을 갈아끼우는 데 프론트엔드 재학습이 필요 없습니다. 프론트엔드 학습에는 GPT-4.1-nano를 주 백엔드로 썼지만, 평가에서는 다른 백엔드로 바꿔 끼웠습니다. 논문이 보고한 점수는 다음과 같습니다.
| 백엔드 LLM | MT-Bench 점수 |
|---|---|
| 없음 (Moshi 단독) | 2.05 |
| GPT-4.1 | 6.43 |
| Claude Opus 4.1 | 6.23 |
같은 프론트엔드에 백엔드만 바꿨을 때 평균 점수 차이는 0.2점이었고, 세부 항목에서는 Claude Opus 4.1이 추론(5.72 대 5.44), GPT-4.1이 인문(7.19 대 6.43)에서 앞섰습니다. 논문은 배포 맥락에 따라 최적의 백엔드를 고를 수 있다고 설명합니다. Gemini 2.5 Flash는 블로그 시연에만 등장하고 논문 표에는 점수가 없습니다.
학습 데이터: 시뮬레이션된 오라클 증강
KAME가 풀어야 했던 실무적 문제 하나는 실제 데이터셋이 없다는 것이었습니다. 사용자가 말하는 도중 LLM이 점점 정확해지는 답을 흘려주는 신호가 들어간 음성 대화 데이터는 자연적으로는 존재하지 않습니다.
연구팀은 이를 합성으로 해결했습니다. Simulated Oracle Augmentation이라고 부릅니다.
- MMLU-Pro, GSM8K, HSSBench의 Q&A 쌍을 바탕으로 합성 대화 세션 56,582개(MMLU-Pro 22,800, GSM8K 11,742, HSSBench 22,040)를 만듭니다.
- 사용자 발화를 얼마나 들었는지(들은 단어 비율)에 따라 힌트 레벨 0
5의 6단계를 정하고, 별도의 시뮬레이터 LLM이 레벨별 지시에 맞춰 오라클 텍스트를 생성합니다. 절반도 듣지 못한 레벨 0에서는 정답 힌트 없이 대화 이력만으로 응답을 짐작하고, 레벨 14에서는 정답 응답을 힌트로 받아 점점 가깝게 쓰며, 발화가 끝난 레벨 5에서는 정답 응답을 그대로 오라클로 씁니다. - TTS와 단어 정렬기(word aligner)로 대화를 음성 데이터로 변환합니다.
- 이렇게 만들어진 (오디오, 오라클 텍스트) 페어로 프론트엔드를 파인튜닝합니다.
학습 때는 오라클 문장을 일정 간격으로 주입하되 도착 시점에 무작위 지터를 넣어, 실제 시스템에서 생기는 작은 지연과 변동에 대한 강건성을 높였다고 논문은 설명합니다.
성능 비교: 어디까지 따라잡았나
직관적으로 정리하면 이렇습니다.
- 응답 지연: 중앙값 기준 KAME와 Moshi 모두 0.0초로 같습니다. 논문은 두 모델 모두 세션의 절반 이상에서 질문이 끝나기 전에 응답을 시작한다고 설명합니다.
- 응답 품질(MT-Bench): 캐스케이드 시스템 Unmute의 7.70에 도달하지는 못했습니다. KAME 6.43, Unmute 7.70으로 대략 1.3점 차이입니다.
- 트레이드오프: 논문 Fig. 1은 저지연 S2S(Moshi, 2.05)와 고품질 캐스케이드(Unmute, 7.70) 사이를 KAME(6.43, 중앙값 지연 0.0초)가 잇는다고 정리합니다.
논문은 이 격차의 원인도 따로 분석했습니다. KAME(GPT-4.1) 세션마다 마지막으로 주입된 오라클 텍스트만 떼어 채점하자 평균 7.79(추론 6.48, STEM 8.34, 인문 8.56)로 Unmute와 비슷했습니다. 연구팀은 Unmute와의 차이가 백엔드 LLM 능력이 아니라 질문을 다 듣기 전에 답을 시작하는 타이밍 때문이라고 해석합니다. 응답을 일부러 늦추는 실험에서는 처음엔 지연을 늘릴수록 점수가 올랐지만, 지연이 큰 구간에서는 개선 폭이 줄었습니다.
코드와 활용
추론 코드 저장소 GitHub SakanaAI/kame가 공개돼 있고, kame-model 파이썬 패키지는 MIT 라이선스입니다. 다만 저장소가 Kyutai Moshi 코드베이스에서 파생돼 LICENSE.audiocraft 등 상위 라이선스 고지를 유지하고 있고, 별도로 배포되는 모델 가중치·데이터셋에는 다른 조건이 붙을 수 있다고 README가 밝히고 있어 상용 활용 시에는 각 조건을 확인해야 합니다. 학습 코드는 별도 저장소(SakanaAI/kame_finetune)로 공개됐습니다.
저장소가 제공하는 것:
- 오라클 가이드 대화 서버(웹 UI 포함)
- 호환성을 위해 유지한 일반(non-oracle) 서버
--hf-repo옵션으로 Hugging Face 체크포인트(SakanaAI/kame) 직접 로딩- Python 3.10+ 지원, 기본 ASR로 Google Cloud Speech-to-Text 사용
오라클 서버를 쓰려면 OpenAI API 키(대화 텍스트를 OpenAI Chat Completions로 전송)와, ASR을 켤 경우 Google Cloud 자격 증명이 필요합니다. 즉, KAME는 자체 호스팅 가능한 프론트엔드 모델 + 외부 LLM API라는 하이브리드 운영 모델을 전제로 합니다.
분석: 왜 이 패턴이 의미 있는가
찾아본 범위에서 The Verge나 TechCrunch 같은 주요 매체는 이번 발표를 다루지 않았고, MarkTechPost 같은 AI 전문 매체 위주로 소개됐습니다. 일반 독자 입장에서 "신모델 발표"가 아니라 "음성 시스템 아키텍처 논문"이기 때문일 겁니다. 다만 음성 AI 인프라를 운영하거나 직접형/캐스케이드 사이에서 고민하는 팀에게는 다른 의미를 갖습니다.
- 직접형 모델의 추론 깊이를 메우려면 모델 자체를 키우는 길과 외부 지식을 끌어오는 길이 있는데, KAME는 후자가 실용적으로 작동한다는 사례를 만들었습니다.
- OpenAI도 같은 시점(5월 4일)에 WebRTC 기반 저지연 음성 인프라 글을 공개했지만, 그쪽은 네트워크/엔지니어링 레벨의 글입니다. KAME는 모델 아키텍처 레벨의 접근입니다. 두 흐름이 합쳐지는 방향이라고 보는 편이 자연스럽습니다.
- ICASSP 2026 채택 + 코드 공개 + MIT 라이선스 조합은, 산업체보다 연구실에서 더 빠르게 후속 실험이 나올 수 있는 구조입니다.
전망
이 흐름이 어떻게 흘러갈지에 대한 필자의 시각입니다(추론).
직접형 S2S 모델 단독으로 GPT-4급 추론을 흉내내려는 시도는 비용 대비 효과가 점점 안 좋아질 가능성이 큽니다. 음성 분야에서도 텍스트 LLM 분야와 비슷하게 "강력한 외부 추론 엔진을 비동기로 끌어쓰는 라이트한 프론트엔드"라는 패턴이 자리 잡을 것 같습니다.
KAME의 가장 큰 약점은 여전히 외부 LLM에 의존한다는 점입니다. 백엔드 호출이 실패하거나 느려지면 사실상 Moshi 베이스라인 수준으로 돌아갈 가능성이 큽니다. 백엔드 호출 결과를 캐싱하거나, 자주 쓰는 도메인 지식을 프론트엔드에 증류하는 후속 연구가 따라올 가능성이 높다고 봅니다.
참고
