본문으로 건너뛰기
주요 뉴스AI 뉴스연구

Thinking Machines Lab의 Interaction Model: 말하는 동안에도 듣는 AI

11분 읽기AI 작성 · 운영 JJY
#Thinking Machines Lab#Mira Murati#Interaction Model#Full-Duplex AI#음성 AI#TML-Interaction-Small#MoE#실시간 AI

이 글은 AI가 쓰고 자동 발행 파이프라인이 올렸습니다. 운영은 JJY가 합니다. 작동 방식 보기

Interactive Infographic

Thinking Machines Lab: 대화를 다시 설계하다

전 OpenAI CTO 미라 무라티의 Thinking Machines Lab이 발화 종료를 기다리지 않는 전이중 AI 구조를 내놓았다. 0.4초, 276B MoE, 인코더 없는 조기 융합.

기존 방식

반이중 (Half-Duplex)

발화 종료 감지 → 처리 → 응답

사용자 발화

말이 끝날 때까지 대기 필요

AI 감지

발화 종료 신호 감지

AI 처리

오디오→텍스트→LLM→TTS

AI 응답 시작

처리가 끝난 뒤 출력 시작

0.57~1.18초 발화 전환 지연 (FD-bench V1, Gemini·GPT-realtime minimal)

TML
Interaction Model

전이중 (Full-Duplex)

동시 수신 → 실시간 반응 → 자연스러운 대화

지속 수신

사용자가 말하는 동안 계속 처리

200ms 마이크로-턴

발화 종료 없이 실시간 반응

동시 처리

말하면서 듣고, 들으면서 반응

즉각 응답

평균 0.4초 발화 전환

평균 0.40초 발화 전환 (FD-bench V1)

Architecture

Interaction Model 구조: 두 모델, 하나의 대화

실시간 인터랙션 모델과 비동기 추론 모델이 공유 컨텍스트로 연결됩니다.

사용자오디오+ 시각Interaction Model실시간200ms 마이크로-턴Background Model비동기 추론도구 호출 · 장기 작업공유 대화 컨텍스트Shared Context응답음성 + 행동0.40s오디오컨텍스트(보정)
인터랙션 모델이 실시간으로 반응하고(FD-bench V1 평균 0.40초, TML 발표), 백그라운드 모델이 비동기로 복잡한 추론과 도구 호출을 처리합니다. 두 모델은 공유 컨텍스트를 통해 동기화됩니다.
Benchmarks

FD-bench: 발화 전환 지연 비교

FD-bench V1 · TML 발표 수치 · 낮을수록 빠르다 (단위: 초)

TML-Interaction-Small

Thinking Machines Lab

0.40s

Gemini-3.1-flash-live

Google · minimal 추론 설정

0.57s

GPT-realtime-2.0

OpenAI · minimal 추론 설정

1.18s
0.40s
TML 지연
30%
Gemini 대비 단축
3x
GPT-realtime 대비 빠름

핵심 요약

관련 글: OpenAI Realtime 음성 트리오: GPT-5급 추론을 음성에, 70개 언어를 실시간으로

2026년 5월 11일, 전 OpenAI CTO 미라 무라티(Mira Murati)가 이끄는 Thinking Machines Lab이 AI 음성 대화 시스템의 설계 방식을 다시 쓰는 연구 프리뷰를 공개했다. 이름은 Interaction Model. 첫 번째 모델 TML-Interaction-Small은 총 2,760억(276B) 파라미터, 토큰당 활성 120억(12B) 파라미터의 MoE 구조다. TML이 직접 측정한 FD-bench V1에서 발화 전환(turn-taking) 지연 0.40초를 기록했고, TechCrunch는 이를 사람 간 자연스러운 대화와 비슷한 속도라고 전했다.

TechCrunch, VentureBeat, Semafor 등이 보도한 이번 발표의 핵심은 구조다. 기존 음성 AI가 사용자가 말을 끝낼 때까지 기다렸다면, TML의 접근은 그 대기 자체를 없앤다. 전이중(full-duplex) 설계 덕분에 AI는 말하는 동안에도 사용자의 음성과 시각 정보를 계속 처리한다.

FD-bench V1 기준 비교(TML 발표 수치):

시스템발화 전환 지연
TML-Interaction-Small0.40초
Google Gemini-3.1-flash-live (minimal)0.57초
GPT-realtime-2.0 (minimal)1.18초

이번 공개는 연구 프리뷰 발표다. TML은 앞으로 몇 달 안에 제한적 연구 프리뷰를 열어 피드백을 받고, 올해 후반 더 넓게 출시할 계획이라고 밝혔다.

대화하는 AI의 구조적 문제

음성 AI는 오랫동안 같은 문제를 안고 있었다. 자연스러운 대화처럼 보이지만 내부를 들여다보면 전혀 다르다.

전형적인 음성 AI 파이프라인은 이렇게 작동한다. 사용자가 말을 끝낸다 → AI가 발화 종료를 감지한다 → AI가 처리를 시작한다 → 응답이 나온다. 순차적이고 단방향이다. 사람이 말하는 동안 AI는 대기하고, AI가 응답을 생성하는 동안에는 끝나거나 중단될 때까지 새 정보를 받지 못한다.

이 방식을 반이중(half-duplex)이라 한다. 무전기 통신과 같은 구조다. 한 번에 한 쪽만 말할 수 있다.

결과적으로 몇 가지 제약이 생긴다. 끼어들기는 음성 활동 감지(VAD) 같은 외부 하네스로 흉내 내야 하고, TML은 이런 부품이 모델 자체보다 상당히 덜 지능적이라고 지적한다. 상용 실시간 API는 오디오만 보고 턴을 감지하기 때문에 화면 속 상황이 바뀌어도 먼저 말을 꺼내지 못한다. 자연스러운 대화의 리듬이 깨진다.

이 문제를 해결하는 방법은 크게 두 방향이었다. Moshi 같은 전이중 음성 모델은 지능보다 지연을 줄이는 데 집중한 소형 모델이었다. 음성→텍스트→LLM→텍스트→음성으로 잇는 캐스케이드형(cascade)은 단계가 많은 만큼 지연이 길어지기 쉽다.

관련 글: Sakana AI KAME: 실시간 음성 AI에 LLM 지식을 비동기로 주입하다

Sakana AI가 KAME에서 탠덤 구조로 이 간극을 좁히려 했다면, TML의 Interaction Model은 반이중 구조 자체를 포기한다. TML도 KAME 등을 선행 연구로 언급했다.

Full-Duplex: 기다리지 않는 구조

Interaction Model의 핵심 개념은 전이중(full-duplex) 통신이다. 전화선이나 LTE처럼, 송신과 수신이 동시에 이루어진다.

TML은 이를 위해 시스템을 두 가지 구성 요소로 나눴다.

Interaction Model(인터랙션 모델)은 사용자와 실시간으로 연결된 상태를 유지한다. 발화가 끝나길 기다리지 않고, 200ms 분량의 입력 처리와 200ms 분량의 출력 생성을 번갈아 이어 가는 마이크로-턴(micro-turn)으로 지속적으로 처리한다. 능동적인 반응, 끼어들기, 시각 큐에 대한 즉각적 반응이 가능하다.

Background Model(백그라운드 모델)은 비동기적으로 동작한다. 지속적인 추론, 도구 호출, 웹 브라우징, 장기 작업은 이쪽으로 넘어간다. 인터랙션 모델은 위임할 때 질문 하나가 아니라 대화 전체를 넘기고, 두 모델은 컨텍스트를 공유한다. 결과는 나오는 대로 인터랙션 모델에 전달돼 적절한 시점에 대화에 녹아든다.

이 구조의 핵심은 인공 발화 경계(artificial turn boundaries)가 없다는 점이다. 기존 실시간 음성 시스템은 대부분 사용자가 언제 말을 끝냈는지 예측하는 하네스가 필요했다. TML에서는 모델이 따라야 할 그런 경계가 없다. 대화가 흐름으로 처리된다.

TML-Interaction-Small: 내부 구조

첫 번째로 공개된 모델 TML-Interaction-Small은 총 2,760억(276B) 파라미터, 활성 120억(12B) 파라미터의 MoE(Mixture-of-Experts) 구조다. 전체 파라미터 중 일부만 각 토큰 처리에 활성화되는 방식으로, 동일 계산 비용 대비 더 많은 파라미터를 활용할 수 있다.

기술적으로 중요한 부분은 인코더 없는 조기 융합(encoder-free early fusion) 방식이다. 멀티모달 시스템 상당수는 오디오와 이미지를 각각의 대형 인코더로 처리한 뒤 합친다. TML은 이 단계를 없앴다.

입력 처리 방식:

  • 오디오: 멜 스펙트럼을 이산화한 dMel 형식으로 받아 경량 임베딩 레이어로 변환. Whisper 같은 대형 오디오 인코더를 쓰지 않음
  • 시각: 이미지를 40×40 패치로 나눈 뒤 hMLP(계층형 MLP)로 인코딩해 트랜스포머에 입력

오디오 출력은 flow head 디코더가 만든다. 이 구성 요소들이 모두 트랜스포머와 함께 처음부터(from scratch) 공동 학습된다. 모달리티를 따로 처리하다 합치는 것이 아니라, 처음부터 멀티모달로 설계된 모델이다.

TML이 이 설계의 지연 효과를 따로 수치로 밝히지는 않았다. 다만 대형 인코더를 거치지 않는 만큼 처리 단계가 줄어든다고 볼 수 있다. 실시간 대화에서 수백 밀리초는 체감 차이로 이어진다.

FD-bench: 0.4초의 의미

TML이 상호작용 성능의 근거로 내세운 벤치마크는 FD-bench(Full-Duplex-Bench)다. Guan-Ting Lin 등 학계 연구진이 2025년 공개한 전이중 음성 대화 모델 평가 벤치마크로, V1은 발화 전환 지연 등 턴테이킹 능력을, V1.5는 사용자 끼어들기·맞장구·다른 사람과의 대화·배경 음성 같은 겹침 상황 처리를 측정한다.

FD-bench V1 비교 결과(TML 발표 수치):

시스템발화 전환 지연비고
TML-Interaction-Small0.40초TML 자체 측정
Google Gemini-3.1-flash-live0.57초minimal 추론 설정
GPT-realtime-2.01.18초minimal 추론 설정

0.4초는 수치로만 보면 크지 않아 보인다. 하지만 맥락이 다르다. TechCrunch와 VentureBeat는 0.40초를 사람 간 자연스러운 대화와 비슷한 속도라고 평가했다.

GPT-realtime-2.0(minimal)의 1.18초는 TML 수치의 약 3배다. VentureBeat는 2026년 표준 API에서 흔한 1~2초의 처리 지연을 음성 고객 응대의 주요 마찰로 꼽았다. Gemini-3.1-flash-live(minimal)의 0.57초와는 0.17초 차이다. 같은 표에서 V1.5 평균 점수는 TML 77.8, Gemini-3.1-flash-live(minimal) 54.3, GPT-realtime-2.0(minimal) 46.8이었다.

FD-bench는 TML이 만든 지표가 아니라 외부 연구진의 벤치마크다. 다만 이번 수치는 모두 TML이 직접 측정해 발표한 것이다. TML은 지능 지표도 함께 공개했는데, 오디오 다중 턴 지시 수행을 보는 Audio MultiChallenge에서는 43.4%로 GPT-realtime-2.0(xhigh)의 48.5%에 못 미쳤다. 독립 기관의 재현 결과는 아직 없다.

Mira Murati와 Thinking Machines Lab

미라 무라티는 2024년 9월 OpenAI CTO 자리에서 물러난다고 발표했다. 2018년 OpenAI에 합류해 2022년 CTO에 올랐고, ChatGPT, DALL-E, Codex 개발을 이끈 인물이다.

2025년 2월 Thinking Machines Lab을 창업했고, 같은 해 7월 Andreessen Horowitz 주도의 시드 라운드에서 20억 달러(약 2.8조 원)를 유치했다. 기업가치는 120억 달러로 인정받았다. NVIDIA, AMD, Cisco, Jane Street가 투자에 참여했고, 알바니아 정부(무라티의 출신국)도 1,000만 달러를 투자하기 위해 국가 예산을 수정한 것으로 알려졌다.

2026년 1월에는 공동창업자 배럿 조프와 루크 메츠가 OpenAI로 돌아가는 등 공동창업자 이탈과 내부 혼란이 보도됐다. 추가 투자 유치 협상도 한동안 지연됐다는 보도가 있었다. 그런 상황에서 5월의 Interaction Model 발표는 2025년 10월 미세조정 API Tinker에 이은 두 번째 주요 공개이자, Tinker와 달리 TML이 직접 학습한 모델을 처음 공개한 사례로 보인다.

앞서 2025년 11월에는 TML이 약 500억 달러 기업가치로 새 투자 유치를 초기 논의 중이라는 블룸버그 보도(로이터 인용)와, 최대 50억 달러를 모으려 한다는 The Information 보도가 나왔다.

전망

AI 음성 대화의 경쟁이 빨라지고 있다. OpenAI는 5월 GPT-realtime-2.0을, Google은 3월 Gemini-3.1-flash-live를 프리뷰로 내놨다. TML은 이 두 플레이어를 FD-bench에서 앞섰다고 주장하지만, 연구 프리뷰 단계 결과와 실제 제품화는 다르다.

기술적으로 흥미로운 점은 방향성이다. "더 빠른 처리"가 아니라 "다른 구조"를 선택했다는 것. 인코더 제거, 조기 융합, 인공 발화 경계 제거는 모두 기존 설계를 부수는 접근이다. 이것이 실제 사용자 경험에서 어떻게 나타날지는 제품 출시 이후에야 알 수 있다.

실용적으로 차별화가 가장 클 수 있는 영역은 의료 상담, 교육 튜터링, 고객 응대처럼 사람과의 자연스러운 대화가 핵심인 분야다. 지연이 0.1초 줄어드는 것이 아니라 대화 구조가 바뀐다면, 체감 경험의 차이는 수치 이상일 수 있다.

다만 한 가지. 지금까지의 수치는 모두 TML이 직접 측정한 것이고, 지능 지표에서는 최상위 추론 모드의 경쟁 모델에 뒤지는 항목도 있다. 0.4초 지연이 인상적이라는 사실과, 그게 전부를 말해준다는 것은 다른 이야기다.

참고

Share
White Place
// AI 작성AI 뉴스 파이프라인

운영 JJY · 자동 발행

GH

새 글 알림 받기

새 글이 올라오면 이메일로 알려 드립니다.

관련 글