AI가 응급실 의사를 넘어서다: Science가 검증한 임상 추론 실험

핵심 요약

하버드 의대와 Beth Israel Deaconess Medical Center 연구팀이 OpenAI의 추론 모델 o1을 실제 임상 환경에서 의사와 직접 붙였습니다. 결과는 의료계가 예상한 방향과 정반대였습니다.

논문 제목은 "Performance of a large language model on the reasoning tasks of a physician"입니다. 학술지 Science에 게재됐고, 동료 심사를 거친 1차 출처입니다. 보스턴의 한 병원 응급실에서 발생한 76개 실제 케이스를 가공 없이 모델에 그대로 넣었습니다.

진단 정확도만 높았던 게 아닙니다. 진단 이후의 의사결정, 즉 어떤 검사를 지시하고 어떤 치료를 권하느냐를 다루는 "관리 추론(management reasoning)"에서 격차가 더 컸습니다. 연구팀은 그럼에도 "AI가 의사를 대체한다는 뜻은 아니다"라고 못 박았습니다.

이 실험에서 쓴 모델은 o1(o1 프리뷰)입니다. 2024년 9월에 공개된 모델이라는 점을 기억할 필요가 있습니다. 지금의 프론티어 모델이 아니라, 이미 한 세대 전 모델로 얻은 결과입니다.

무슨 일이 일어났는가

연구진은 6개의 독립 실험을 설계했습니다. 출판된 환자 비네트부터 응급실에 막 도착한 신규 환자 평가까지, 난이도와 형식을 달리한 케이스를 준비했습니다. 비교 대상은 레지던트, 전문의, 가정의를 포함한 수백 명의 의사였습니다.

6개 실험 전부에서 o1이 인간을 앞섰습니다. 예외는 없었습니다.

가장 주목할 실험은 여섯 번째였습니다. 보스턴 병원 응급실의 실제 케이스 76건을 세 시점에 걸쳐 평가했습니다. 환자가 도착한 직후의 초기 트리아지, 의사와 첫 대면한 시점, 그리고 일반 병동이나 중환자실 입원이 결정된 시점입니다.

핵심은 데이터를 다듬지 않았다는 점입니다. 진단 시점에 전자의무기록(EHR)에 있던 내용이 그대로 모델의 입력이었습니다. 의사가 마주한 정보와 동일한 조건이었습니다. 기존 연구들이 깔끔하게 정리된 케이스로 AI를 평가했던 것과 다른 지점입니다.

진단 정확도: 숫자로 보는 격차

"정확하거나 매우 근접한 진단" 기준으로 측정한 결과입니다.

시점	o1	담당 전문의 A	담당 전문의 B
초기 트리아지	67%	55.3%	50.0%
의사 대면	72%	두 전문의 모두 하회	두 전문의 모두 하회
입원 결정	82%	두 전문의 모두 하회	두 전문의 모두 하회

초기 트리아지는 정보가 가장 부족한 단계입니다. 이 단계에서 o1은 67%, 두 전문의는 각각 55.3%와 50.0%였습니다. 정보가 쌓일수록 모델의 정확도는 72%, 82%로 올라갔고, 세 시점 모두에서 담당 전문의를 넘었습니다.

응급실 트리아지는 시간 압박이 가장 심하고 정보가 가장 적은 상황입니다. 그 조건에서 한 세대 전 모델이 사람을 앞섰다는 점이 이 데이터의 무게입니다.

진짜 격차는 진단이 아니라 관리 추론에서

연구팀이 가장 놀랍다고 평가한 부분은 진단이 아니었습니다. 진단 이후의 결정, 즉 관리 추론이었습니다.

어떤 검사를 추가로 지시할지, 항생제를 권할지, 임종 케어를 어떻게 논의할지 같은 판단입니다. 25명의 전문가가 만든 5개의 복잡한 시나리오로 측정했습니다.

평가 대상	관리 추론 점수(중앙값)
o1	89%
일반 자료(최신 Google 검색 포함)를 쓴 의사	34%

89% 대 34%입니다. 의사들이 최신 검색까지 동원했는데도 격차가 두 배를 훌쩍 넘었습니다. 진단은 패턴 인식에 가깝지만, 관리 추론은 맥락과 판단을 요구합니다. 그 영역에서 격차가 더 컸다는 점이 이 연구의 핵심 메시지입니다.

같이 봐야 할 불편한 데이터: 자동화 편향

이 연구에는 AI 옹호 논리로만 쓰기 어려운 데이터도 있습니다.

한 관리 추론 실험에서 GPT-4를 함께 쓴 의사의 점수는 41%였습니다. GPT-4 단독은 42%, AI 없이 일한 의사는 34%였습니다.

조건	점수
GPT-4 단독	42%
의사 + GPT-4	41%
의사 단독	34%

의사가 AI를 함께 써도 GPT-4 단독보다 나아지지 않았습니다. 연구팀은 의사들이 무의식적으로 AI의 답에 기대고, 독립적으로 사고하지 않았을 가능성을 지적했습니다. 의료 현장에서 AI를 도입할 때 가장 먼저 마주칠 위험이 이 자동화 편향입니다.

분석: 점수 산정 방식을 둘러싼 비판

수치가 깔끔하다고 해석까지 깔끔한 건 아닙니다. Science Media Centre를 통해 나온 전문가 의견은 채점 루브릭의 구조적 편향을 짚었습니다.

루브릭이 길고 포괄적인 답변에 체계적으로 유리하다는 지적입니다. 예를 들어 Bond Score는 감별진단 목록 어디든 정답이 포함되면 만점을 줍니다. 프롬프트에 목록 길이 제한이 없다고 명시돼 있어, 가능한 진단을 길게 나열할수록 유리합니다. 항목을 더할수록 점수가 오르는 가산식 체크리스트(Grey Matters)에서 AI의 우위가 가장 크게 나타났습니다.

LLM은 사람보다 길고 빠짐없이 나열하는 데 강합니다. 평가 지표가 그 강점을 직접 보상하는 구조라면, 점수 차이의 일부는 임상 능력이 아니라 답변 길이에서 왔을 수 있다는 비판입니다. 사실로 단정할 부분(수치, 실험 설계)과 해석이 갈리는 부분(점수 차이의 원인)을 구분해서 읽어야 합니다.

연구팀이 강조한 한계

연구팀의 결론은 "AI가 의사를 대체한다"가 아니었습니다. 오히려 그 반대 메시지를 분명히 했습니다.

• 이번 결과는 더 엄밀한 검증의 필요성을 키운 것이지, 임상 도입 준비가 끝났다는 뜻이 아닙니다.
• 책임 소재, 환자 안전, 규제 승인 같은 질문은 이 실험으로 답해지지 않습니다.
• AI 헬스케어를 파는 기업들이 이 결과를 과장할 수 있다는 점을 연구팀이 직접 경계했습니다.

Science는 같은 호에 "AI can reason like a physician, what comes next?"라는 동반 논평을 함께 실었습니다. 결과의 의미보다 다음 검증 단계를 어떻게 설계할지가 더 중요하다는 흐름입니다.

필자의 시각

이 부분은 검증된 사실이 아니라 개인적 해석입니다.

이번 실험에서 가장 무거운 변수는 모델 버전입니다. o1은 2024년 9월 모델입니다. 그 사이 추론 모델은 여러 세대를 지났습니다. 한 세대 전 모델로 이 격차가 나왔다면, 지금 모델로 같은 실험을 다시 했을 때 결과가 어디까지 갈지가 진짜 질문입니다.

다만 진단 정확도가 곧 좋은 의료를 의미하지는 않습니다. 환자와의 대화, 불확실성을 견디는 판단, 책임을 지는 구조는 점수표에 잡히지 않습니다. 채점 루브릭 비판이 중요한 이유도 여기 있습니다. 벤치마크가 측정하는 것과 임상 현장이 요구하는 것 사이의 간극은 아직 큽니다.

현실적인 그림은 대체가 아니라 분업입니다. AI가 감별진단의 폭을 넓히고, 사람이 맥락과 책임을 맡는 구조입니다. 그 분업이 자동화 편향 데이터를 어떻게 넘느냐가 다음 라운드의 핵심이 될 것으로 봅니다.

참고

• Science: Performance of a large language model on the reasoning tasks of a physician
• Science: AI is starting to beat doctors at making correct diagnoses
• Harvard Magazine: AI Outperforms Doctors in Emergency Room Tasks
• Science Media Centre: expert reaction to study evaluating performance of a large language model on the reasoning tasks of a physician