OpenAI 모델이 80년 수학 난제를 깨다: 에르되시 단위거리 추측 반증

핵심 요약

OpenAI는 2026년 5월 20일, 자사 추론 모델이 80년 가까이 풀리지 않던 수학 난제를 반증했다고 발표했습니다. 대상은 폴 에르되시(Paul Erdős)가 1946년 제기한 이산기하학의 단위거리 추측입니다.

모델은 평면 위에 점을 배치할 때 정사각 격자가 최적이라는 오랜 통념을 깨는 새로운 점 구성을 찾아냈습니다. 그리고 그 구성이 더 우월함을 증명했습니다.

이 증명은 Noga Alon, Tim Gowers 등 9명의 수학자가 검토하고 사람이 읽을 수 있는 형태로 정리했습니다. 필즈상 수상자 Tim Gowers는 이를 "AI 수학의 이정표"라고 평했습니다.

관련 글: Google I/O 2026: Gemini Spark 공개, Project Mariner를 품은 Gemini 에이전트의 다음 단계

아래에서 무엇이 풀렸는지, AI가 어떤 방법을 썼는지, 그리고 "AI가 자율적으로 풀었다"는 표현이 정확히 무엇을 의미하는지 차례로 살펴봅니다.

무엇이 풀렸나: 단위거리 추측

단위거리 문제는 단순한 질문에서 출발합니다. 평면에 점 n개를 찍을 때, 정확히 거리가 1인 점의 쌍은 최대 몇 개까지 만들 수 있을까.

에르되시는 1946년에 이 문제를 제기했습니다. 이후 거의 80년 동안 수학자들은 정사각 격자 형태의 배치가 사실상 최적에 가깝다고 믿었습니다. 격자는 점의 개수 n에 대해 약 n^(1+c/log log n) 개의 단위거리 쌍을 만들어냅니다. 지수가 1보다 아주 미세하게만 커지는 형태입니다.

여기서 추측의 핵심은 그 미세함이었습니다. 단위거리 쌍의 최대 개수가 n^(1+o(1)), 즉 지수가 1에 한없이 가까운 수준에 머문다는 것이 널리 받아들여진 가설이었습니다.

OpenAI 모델이 한 일은 이 가설을 깨는 것이었습니다. 모델은 n^(1+δ) 개의 단위거리 쌍을 만드는 무한한 점 구성족을 제시했습니다. 여기서 δ는 0보다 확실히 큰 고정된 값입니다. 원래 AI 증명은 δ를 명시하지 않았고, 프린스턴의 수학자 Will Sawin이 곧이어 공개한 후속 논문에서 δ를 0.014로 잡을 수 있음을 보였습니다.

지수가 1에서 0.014만큼 떨어진 위치에 고정된다는 것은, 점이 많아질수록 격자보다 다항식적으로 더 많은 단위거리 쌍을 만들 수 있다는 의미입니다. 80년간의 통념이 뒤집힌 지점입니다.

AI가 찾은 돌파구: 정수론으로 기하 문제를 풀다

가장 흥미로운 부분은 풀이의 핵심 재료가 기하학 바깥에서 왔다는 사실입니다.

에르되시의 원래 격자 구성은 가우스 정수(a+bi 꼴의 수)로 설명할 수 있습니다. 모델은 이 익숙한 출발점에서 가우스 정수를 더 복잡한 대수적 수체로 바꿨고, 그런 수체가 실제로 존재함을 보이는 데 무한 유체체 탑(infinite class field towers)과 1964년에 증명된 Golod-Shafarevich 정리 계열의 이론을 끌어왔습니다.

쉽게 말하면, 대수적 정수론의 깊은 도구를 가져와 기하 문제의 새로운 점 구성을 만들어낸 것입니다. OpenAI는 이 개념들이 유클리드 평면의 기하 문제에 함의를 가진다는 점이 큰 놀라움이었다고 설명합니다. 다만 동반 논문은 수체로 반례를 만들려는 발상 자체는 완전히 새롭지 않았고, Golod-Shafarevich형 탑을 구성하는 부분도 새로운 대목은 아니라고 짚습니다. 동반 논문은 증명의 새로운 핵심이 이 재료들을 반례로 연결하는 두 보조정리에 있다고 설명합니다.

동반 논문에서는 이 정도 난도의 문제를 AI가 풀었다는 점을 놀랍고 인상적이라고 평했습니다. 다만 사고 과정은 요약·재작성본만 공개돼 있어, 단순한 계산 탐색과 어떻게 다른지는 외부에서 온전히 확인하기 어렵습니다.

공개된 자료는 세 가지입니다. OpenAI 명의의 18페이지 증명 문서(Planar Point Sets with Many Unit Distances), 외부 수학자들이 증명을 검토하고 맥락을 정리한 19페이지 동반 논문, 그리고 모델의 사고 과정(chain of thought)을 요약·재작성한 125페이지 문서입니다. 동반 논문에 따르면 증명 문서는 OpenAI 내부 모델이 한 번에 수학적으로 생성했고, 이후 사람이 Codex와 상호작용하며 서술을 다듬었습니다.

검증: 9명의 수학자가 한 일

AI가 내놓은 결과라고 해서 그대로 받아들여진 것은 아닙니다.

"Remarks on the disproof of the unit distance conjecture"라는 제목의 19페이지 동반 논문에는 9명의 수학자가 이름을 올렸습니다. Noga Alon, Thomas Bloom, Tim Gowers, Daniel Litt, Will Sawin, Arul Shankar, Jacob Tsimerman, Victor Wang, Melanie Matchett Wood입니다.

이들의 역할은 세 가지였습니다.

• 모델이 생성한 증명을 소화해 일부 단순화·일반화한, 사람이 읽을 수 있는 형태로 재정리
• 사람이 직접 논리를 검증
• Ellenberg-Venkatesh, Hajir-Maire-Ramakrishna 등 기존 연구와의 관계 속에서 맥락화

조합론 분야의 권위자인 Gil Kalai도 자신의 블로그에서 이 결과를 다뤘습니다. 동반 논문에서 Tim Gowers는 "사람이 이 논문을 써서 Annals of Mathematics에 제출했고 내게 간단한 의견을 물었다면, 망설임 없이 게재를 추천했을 것"이라고 썼고, Jacob Tsimerman은 어떤 학술지에든 망설임 없이 받아들이겠다고 평했습니다.

OpenAI는 이번 사례를 한 수학 분야의 중심에 있는 유명 미해결 문제를 AI가 자율적으로 해결한 첫 사례라고 설명했습니다.

자율성을 둘러싼 논쟁

여기서 표현의 정확성이 중요해집니다. OpenAI가 내세운 "AI가 자율적으로 풀었다"는 표현은 증명 생성 단계에 대해서는 근거가 있지만, 맥락이 필요합니다.

증명의 핵심 아이디어와 구성은 모델이 만들어냈습니다. 이건 분명한 사실입니다. 다만 그 결과가 수학계에 받아들여지는 형태로 다듬어지는 과정에는 사람의 손이 적지 않게 들어갔습니다. 9명의 수학자가 검증하고, 사람이 읽을 수 있는 형태로 재정리하고, 기존 연구와 연결했습니다. 증명 문서 역시 모델이 한 번에 생성한 뒤, 사람이 Codex와 상호작용하며 서술을 다듬은 결과물입니다.

AI 회의론으로 잘 알려진 Gary Marcus는 발표 다음 날인 5월 21일 글에서 회의적인 시각을 주문했습니다. 모델이 어떻게 작동했고 어떻게 학습됐는지, 결과가 얼마나 일반적인지 알 수 없고, 실패한 시도의 수도 공개되지 않았다는 지적입니다. 이번 결과는 모델이 단독으로 처음부터 끝까지 완성했는가, 아니면 사람과의 협업 산출물인가라는 질문도 남깁니다.

객관적으로 정리하면 이렇습니다. 새로운 수학적 통찰을 만들어낸 주체는 모델입니다. 그 통찰을 검증 가능한 정리로 확정한 주체는 사람과 모델의 협업입니다. 둘 다 사실이며, 어느 한쪽만 강조하면 그림이 왜곡됩니다.

왜 이 사건이 중요한가

AI가 수학 문제를 푼 사례는 이전에도 있었습니다. 다만 Gowers는 동반 논문에서 이전의 어떤 AI 생성 증명도 이번 결과에 근접하지 못했다고 평가했습니다.

이번 건이 다른 점은 한 분야의 중심에 놓인 미해결 추측을 대상으로 했다는 데 있습니다. 그리고 그 풀이가 인접 분야의 도구를 가져오는, 사람이라면 발상의 전환이라 부를 만한 형태였다는 점입니다.

수학 연구에서 정말 어려운 부분은 계산이 아니라 어떤 도구를 어디에 쓸지 떠올리는 일입니다. 모델이 정수론의 무한 유체체 탑을 기하 문제에 연결한 것은, 바로 그 떠올리는 능력에 닿아 있다는 신호로 읽힙니다.

전망

이 흐름이 이어진다면, 수학자의 작업 방식 자체가 바뀔 가능성이 있습니다. 개인적으로는 AI가 증명의 초안과 새로운 구성을 제안하고, 사람이 검증과 정교화를 맡는 분업이 당분간 표준이 될 것이라고 봅니다.

다만 한 가지는 분명히 해두고 싶습니다. 이번 결과는 인상적이지만, 단 하나의 사례입니다. 한 번의 돌파를 일반화해 AI가 이제 수학을 한다고 단정하기엔 이릅니다. 같은 수준의 결과가 다른 난제에서도 재현되는지가 진짜 시험대가 될 것입니다.

확실한 건, 80년을 버틴 추측이 깨졌고 그 과정에 AI가 결정적으로 기여했다는 사실입니다. 이 한 줄만으로도 충분히 기록될 만합니다.

참고

• OpenAI: An OpenAI model has disproved a central conjecture in discrete geometry
• TechCrunch: OpenAI claims it solved an 80-year-old math problem
• Combinatorics and more: Amazing, Erdős' Unit Distance Problem was Disproved
• arXiv: Remarks on the disproof of the unit distance conjecture
• OpenAI: Planar Point Sets with Many Unit Distances (증명 문서)
• OpenAI: Rewritten Chain of Thought (사고 과정 요약본)
• arXiv: Will Sawin, An explicit lower bound for the unit distance problem
• Gary Marcus: Checking the math behind OpenAI and Anthropic's latest headlines
• Wikipedia: Golod–Shafarevich theorem