AI가 응급실 진단에서 의사를 앞서다: Science에 실린 임상 추론 실험

핵심 요약

하버드 의대와 Beth Israel Deaconess Medical Center 연구팀이 OpenAI의 추론 모델 o1 시리즈를 실제 응급실 환자 기록을 포함한 여러 임상 과제에서 의사와 비교했습니다. 공동 저자 Adam Rodman에 따르면 격차가 워낙 커서 저자들은 아무도 결과를 믿지 않을까 걱정했을 정도였습니다.

논문 제목은 "Performance of a large language model on the reasoning tasks of a physician"입니다. 학술지 Science에 게재됐고, 동료 심사를 거친 1차 출처입니다. 보스턴의 한 병원 응급실에서 발생한 76개 실제 케이스를 가공 없이 모델에 그대로 넣었습니다.

진단 정확도만 높았던 게 아닙니다. 진단 이후의 의사결정, 즉 어떤 검사를 지시하고 어떤 치료를 권하느냐를 다루는 "관리 추론(management reasoning)"에서 격차가 더 컸습니다. 공동 책임저자 Arjun Manrai는 그럼에도 이번 결과가 AI가 의사를 대체한다는 뜻은 아니라고 선을 그었습니다.

이 연구에서 쓴 모델은 o1-preview(2024년 9월 공개)와 o1(2024년 12월 공개)입니다. 비네트 실험 5개에는 o1-preview가, 응급실 실험에는 o1이 쓰였습니다. 지금의 프론티어 모델이 아니라, 이전 세대 모델로 얻은 결과입니다.

무슨 일이 일어났는가

연구진은 6개 실험을 진행했습니다. 출판된 환자 비네트를 쓴 실험 5개와, 응급실에 막 도착한 신규 환자를 대상으로 한 실제 데이터 연구 1개입니다. 비교 대상은 레지던트와 전문의 등 수련 단계와 경력이 다른 수백 명의 의사였습니다. 비네트 실험의 의사 점수는 대부분 같은 사례로 진행된 이전 연구의 기록을 대조군으로 가져온 것입니다.

논문 초록은 모든 실험에서 o1이 의사 기준선을 앞섰다고 요약했습니다. 다만 Science eLetter(독자 의견란)에는 Landmark 진단 사례처럼 차이가 통계적으로 유의하지 않은 실험도 있다는 지적이 올라왔고, Science 뉴스 기사는 o1이 의사와 비슷하거나 더 나았다고 표현했습니다.

공동 저자 Thomas Buckley가 가장 중요하다고 꼽은 실험은 여섯 번째였습니다. 보스턴 Beth Israel Deaconess 응급실의 실제 케이스 76건을 세 시점에 걸쳐 평가했습니다. 환자가 도착한 직후의 초기 트리아지, 응급실 의사의 진료 시점, 그리고 일반 병동이나 중환자실에 입원하는 시점입니다.

핵심은 데이터를 다듬지 않았다는 점입니다. 각 시점에 전자의무기록(EHR)에 있던 내용이 전처리 없이 모델의 입력이 됐고, 비교 대상인 전문의 2명도 같은 기록만 보고 감별진단을 냈습니다. 기존 연구들이 깔끔하게 정리된 케이스로 AI를 평가했던 것과 다른 지점입니다.

진단 정확도: 숫자로 보는 격차

"정확하거나 매우 근접한 진단" 기준으로 측정한 결과입니다.

초기 트리아지는 정보가 가장 부족한 단계입니다. 이 단계에서 o1은 67.1%, 두 전문의는 각각 55.3%와 50.0%였습니다. 정보가 쌓일수록 모델의 정확도는 72.4%, 81.6%로 올라갔고, 세 시점 모두 두 전문의보다 수치가 높았습니다. 다만 의사들의 정확도도 함께 올라 격차는 좁아졌고, 입원 시점 전문의 1(78.9%)과의 차이는 통계적으로 유의하지 않았다는 지적이 Science eLetter에서 나왔습니다.

응급실 트리아지는 시간 압박이 가장 심하고 정보가 가장 적은 상황입니다. 그 조건에서 이전 세대 모델이 사람을 앞섰다는 점이 이 데이터의 무게입니다.

진단 너머: 관리 추론에서 벌어진 격차

점수 차이가 크게 벌어진 영역은 진단에만 있지 않았습니다. 진단 이후의 결정, 즉 관리 추론에서도 격차가 컸습니다.

어떤 검사를 추가로 지시할지, 항생제를 권할지, 임종 케어를 어떻게 논의할지 같은 판단입니다. 25명의 전문가가 만든 5개의 복잡한 시나리오로 측정했습니다.

89% 대 34%로, 점수가 2.5배 이상 차이 납니다. 의사들은 UpToDate 같은 임상 참고자료와 인터넷 검색을 쓸 수 있었습니다. 다만 의사 점수는 같은 사례로 진행된 이전 연구(2025년 발표)의 기록을 대조군으로 가져온 것입니다. 연구에 참여한 Beth Israel Deaconess의 Peter Brodeur는 관리 추론이 사례의 객관적 특징뿐 아니라 처한 맥락 같은 주관적 요소까지 따져야 해, 진단 추론보다 복잡한 과제일 가능성이 크다고 설명했습니다.

같이 봐야 할 불편한 데이터: 자동화 편향 가능성

이 연구에는 AI 옹호 논리로만 쓰기 어려운 데이터도 있습니다.

논문이 대조군으로 함께 제시한 이전 관리 추론 실험(같은 5개 사례)에서 GPT-4를 함께 쓴 의사의 점수는 41%였습니다. GPT-4 단독은 42%, AI 없이 일한 의사는 34%였습니다.

의사가 GPT-4를 함께 쓰면 AI 없이 일한 의사보다는 점수가 높았지만, GPT-4 단독보다 나아지지는 않았습니다. Science Media Centre에 의견을 낸 셰필드대 Wei Xing 조교수는 의사들이 독립적으로 사고하기보다 무의식적으로 AI의 답을 따랐을 가능성을 지적했습니다. 그는 AI가 임상에서 일상적으로 쓰일수록 이런 경향이 더 커질 수 있다고 봤습니다.

분석: 점수 산정 방식을 둘러싼 비판

수치가 깔끔하다고 해석까지 깔끔한 건 아닙니다. 논문 게재 후 Science 웹사이트의 eLetter(편집·동료 심사를 거치지 않는 독자 의견란)에 실린 혈액종양내과 전문의 Allen Li(The Vancouver Clinic)의 5월 11일 서신은 채점 루브릭의 구조적 편향을 짚었습니다.

루브릭이 길고 포괄적인 답변에 체계적으로 유리하다는 지적입니다. 예를 들어 Bond Score는 감별진단 목록 어디든 정답이 포함되면 만점을 줍니다. 프롬프트에 목록 길이 제한이 없다고 명시돼 있어, 가능한 진단을 길게 나열할수록 유리합니다. 항목을 더할수록 점수가 오르는 가산식 체크리스트(Grey Matters)에서 AI의 우위가 가장 크게 나타났습니다.

LLM은 사람보다 길고 빠짐없이 나열하는 데 강합니다. 평가 지표가 그 강점을 직접 보상하는 구조라면, 점수 차이의 일부는 임상 능력이 아니라 답변 길이에서 왔을 수 있다는 비판입니다. 같은 서신은 동시 비교와 맹검 채점을 거친 응급실 실험을 가장 견고한 근거로 꼽으면서도, 정보가 쌓일수록 o1의 우위가 줄었다는 점을 함께 짚었습니다. Science Media Centre에 의견을 낸 서리대 Gustavo Carneiro 교수도 응급실 실험의 과제는 실시간 의사결정이나 환자 관리가 아니라 맹검 상태의 2차 소견 감별진단 생성이었다며, 응급실 결정에서 의사를 앞섰다는 보도자료 문구가 지나치게 낙관적이라고 평가했습니다. 사실로 단정할 부분(수치, 실험 설계)과 해석이 갈리는 부분(점수 차이의 원인)을 구분해서 읽어야 합니다.

연구팀이 강조한 한계

연구팀의 결론은 "AI가 의사를 대체한다"가 아니었습니다. 오히려 그 반대 메시지를 분명히 했습니다.

• 이번 결과는 더 엄밀한 검증의 필요성을 키운 것이지, 임상 도입 준비가 끝났다는 뜻이 아닙니다.
• 입력은 텍스트뿐이었습니다. 영상 검사나 심전도 같은 데이터는 다루지 않았고, Rodman은 며칠 치 기록이 쌓이는 입원 환자에게는 지금 모델의 성능이 떨어질 것으로 본다고 말했습니다.
• AI 헬스케어를 파는 기업들이 이 결과를 과장할 수 있다는 점을 연구팀이 직접 경계했습니다.

Science는 같은 호에 "AI can reason like a physician, what comes next?"라는 동반 논평(Perspective)을 함께 실었습니다. 텍스트 기반 AI가 의사처럼 추론할 수 있게 됐으니, 이제 과제는 안전한 임상 도입이라는 내용입니다.

필자의 시각

이 부분은 검증된 사실이 아니라 개인적 해석입니다.

이번 실험에서 가장 무거운 변수는 모델 버전입니다. o1-preview는 2024년 9월, o1은 같은 해 12월에 나온 모델입니다. 그 사이 추론 모델은 여러 세대를 지났습니다. 이전 세대 모델로 이 격차가 나왔다면, 지금 모델로 같은 실험을 다시 했을 때 결과가 어디까지 갈지가 진짜 질문입니다.

다만 진단 정확도가 곧 좋은 의료를 의미하지는 않습니다. 환자와의 대화, 불확실성을 견디는 판단, 책임을 지는 구조는 점수표에 잡히지 않습니다. 채점 루브릭 비판이 중요한 이유도 여기 있습니다. 벤치마크가 측정하는 것과 임상 현장이 요구하는 것 사이의 간극은 아직 큽니다.

현실적인 그림은 대체가 아니라 분업입니다. AI가 감별진단의 폭을 넓히고, 사람이 맥락과 책임을 맡는 구조입니다. 그 분업이 자동화 편향 데이터를 어떻게 넘느냐가 다음 라운드의 핵심이 될 것으로 봅니다.

참고

• Science: Performance of a large language model on the reasoning tasks of a physician
• Science: AI is starting to beat doctors at making correct diagnoses
• Harvard Magazine: AI Outperforms Doctors in Emergency Room Tasks
• Science Media Centre: expert reaction to study evaluating performance of a large language model on the reasoning tasks of a physician
• Science eLetter (Allen Li, 2026-05-11): Enumeration Versus Reasoning in Large Language Model Clinical Benchmarks
• Science Perspective: AI can reason like a physician, what comes next?
• EurekAlert (AAAS): Large language models demonstrate strong performance in physicians' clinical reasoning tasks
• arXiv 프리프린트: Superhuman performance of a large language model on the reasoning tasks of a physician