AI가 90년 난제를 88시간에 풀었다, 수학자들이 화난 진짜 이유

AI가 90년 된 수학 난제를 88시간 만에 풀었다는 소식이 국내외를 뒤덮었지만, 정작 수학계 반응은 환호와 거리가 멀었다. 이 글은 OpenAI 공식 발표문과 해외 보도, 필즈상 수상자들의 공동 서한 원문을 교차 확인해 무엇이 실제 성과이고 무엇이 아직 확정되지 않았는지 정리했다.

88시간 동안 실제로 벌어진 일

OpenAI 공식 발표문에 따르면 시작은 소문이었다. 9월 1일 밀레니엄 문제 두 개가 풀렸다는 이야기를 들은 OpenAI는 8월 28일부터 훈련 중이던 내부 모델(공식 설명으로는 GPT‑6 Astra보다 성능이 크게 뛰어난 모델)을 미해결 밀레니엄 문제 전반에 투입했다. 에이전트들을 그룹으로 나눠 서로 다른 형태의 문제를 던졌고, 나비에–스토크스 그룹에는 약 1만 개 에이전트가 동시에 붙었다. 첫 에이전트 가동 후 88시간이 지난 9월 5일 토요일에 해법이 나왔다.

* 메시지·토큰 수치는 나비에–스토크스 문제 한 건 기준. 시도한 전체 문제로는 490만 건·약 3,000억 토큰.

정확히 무엇을 증명했나, 스파게티처럼 늘어나는 소용돌이

나비에–스토크스 방정식은 뉴턴의 제2법칙을 유체에 적용한 식으로, 항공기 설계와 일기 예보, 혈류 연구에 쓰인다. 여기서 90년 가까이 풀리지 않은 질문은 “매끄럽게 시작한 3차원 유체가 스스로 붕괴할 수 있는가”였다. 1934년 장 르레가 일반화된 의미의 해가 존재함을 증명했지만, 그 해가 항상 매끄럽게 유지되는지는 미지수로 남았고 2000년 클레이 수학연구소가 이를 밀레니엄 문제로 지정했다.

OpenAI 시스템이 내놓은 답은 “붕괴할 수 있다”였다. 정지 상태에서 매끄럽게 출발한 유체에 유한 시간 안에 속도가 무한대로 치솟는 특이점이 생길 수 있음을 보인 것이다. 밀레니엄 문제 공식 명세의 명제 ‘C'(그리고 ‘D’)를 성립시키는 방식이며, 해의 정체는 안쪽으로 나선을 그리며 스파게티처럼 축 방향으로 길게 늘어나는 소용돌이다. 어려운 대목은 무한한 외력을 인위적으로 넣지 않고 유체 자체의 운동만으로 붕괴를 만들어내는 것이었다.

성과로 인정받는 부분, Lean 형식화와 오일러 문제

이번 발표가 과거의 “AI가 수학을 풀었다” 류 주장과 다른 지점은 Lean 형식화를 함께 공개했다는 점이다. Lean은 증명을 기계가 검증할 수 있는 형태로 옮기는 도구라, 사람이 논리 전개를 일일이 신뢰하지 않아도 내부 정합성을 확인할 수 있다. 형식화와 검증에는 GPT‑6 Astra가 동원돼 17시간이 걸렸다.

덤으로 나온 결과도 있다. 점성항을 제거한 극한인 오일러 방정식의 정칙성 문제에 대해서도 에이전트들이 반증을 내놨는데, 여기에는 약 100개 에이전트가 약 50시간 협업했다. 앞서 2026년 5월에는 OpenAI 모델이 1946년 제기된 에르되시의 단위거리 추측을 반증했고, 노가 알론을 비롯한 수학자들이 이를 검증한 전례도 있다.

아직 ‘공인’은 아니다, 검증과 우선권 논란

가장 중요한 한계는 클레이 수학연구소가 이 문제를 여전히 미해결로 분류하고 있다는 사실이다. 밀레니엄 상금 규정상 증명은 동료 심사 학술지에 게재된 뒤 2년이 지나야 심사 대상이 되며, OpenAI 스스로도 상금을 청구할 생각이 없다고 밝혔다. Lean 형식화가 내부 논리의 정합성은 보장하더라도, 형식화된 명제가 밀레니엄 문제 명세와 정확히 일치하는지는 결국 사람이 확인해야 하는 몫으로 남는다.

우선권 논란도 붙었다. 비슷한 시기에 Anthropic의 레벤트 알푀게와 뉴욕대 트리스탄 벅마스터 교수가 외력이 있는 오일러 문제 해법을 내놨는데, 벅마스터는 OpenAI가 자신의 연구 소문이 퍼진 뒤에야 이 문제에 뛰어들었다고 지적했다. NBC 뉴스 보도에 따르면 OpenAI는 이들의 프롬프트나 증명을 쓰지 않았다고 부인하면서도, 제품 사용에서 파생된 비식별 데이터가 모델 개선에 기여했을 가능성까지는 배제할 수 없다고 인정했다. 이후 OpenAI는 9월 10일 발표문을 업데이트해 벅마스터의 Codex 입력이 시스템에 영향을 줄 수 없었음을 자체 조사로 확인했다고 밝혔고, 알푀게·벅마스터의 선행 업적을 인정한다는 입장을 함께 실었다.

필즈상 25명이 서한을 쓴 이유, 허준이 교수도 이름 올렸다

발표 사흘 뒤인 9월 11일, 필즈상 수상자 테런스 타오는 “수학에서 AI의 심각한 불일치”라는 글을 올렸다. 허준이 프린스턴대 교수를 포함한 필즈상 수상자 25명이 이름을 올린 공동 선언도 함께 공개됐다.

이들의 논지는 AI가 답을 빨리 낸다는 사실 자체를 문제 삼는 게 아니다. “문제 풀이는 통찰을 얻기 위한 도구일 뿐”인데 AI 기업들이 난제 해결을 벤치마크 삼아 경쟁하면서, 결과가 서둘러 발표되는 바람에 제대로 된 논문 작성과 새로운 방법론 도출에 필요한 시간이 사라진다는 지적이다. 저작권 표기와 표절 문제, 강의와 토론을 통해 다음 세대에게 아이디어를 전수해온 수학계의 전승 구조가 끊길 위험도 함께 거론됐다. 선언문은 대량 생산되는 참·거짓 명제들이 오히려 새로운 아이디어가 자랄 토양을 파괴할 수 있다고 경고하면서도, 최종적으로 이 기술이 건설적일지 파괴적일지는 기술을 통제하는 인간의 결정에 달려 있다고 덧붙였다.

자주 묻는 질문

▸Q. 그래서 밀레니엄 문제가 진짜 풀린 건가요?

OpenAI는 공식 명세의 명제 C·D를 성립시켜 해결했다고 주장하지만, 클레이 수학연구소는 여전히 미해결로 분류하고 있다. 학술지 게재와 동료 심사를 거쳐야 공인 절차가 시작된다.

▸Q. 100만 달러 상금은 누가 받나요?

OpenAI는 이번 결과로 상금을 청구할 생각이 없다고 밝혔다. 규정상 동료 심사 학술지 게재 후 2년이 지나야 심사 대상이 되기도 한다.

▸Q. 수학자들이 반대하는 건 AI 자체인가요?

아니다. 공동 선언은 AI의 긍정적 활용 가능성을 인정한다. 문제 삼는 것은 난제 해결을 마케팅 벤치마크로 소비하는 방식과, 그 과정에서 검증·저작권·교육 체계가 훼손되는 부분이다.

정리

범용 추론 모델이 90년 묵은 난제에 88시간 만에 도달하고 그 증명을 기계 검증 가능한 형태로 내놨다는 사실은 그 자체로 분기점에 가깝다. 다만 ‘해결’이라는 단어가 공인되기까지는 동료 심사와 커뮤니티 검증이라는 느린 절차가 남아 있고, 우선권 문제와 수학계의 반발은 속도만으로는 정리되지 않는 영역이다. 지금 확인된 것은 AI가 최전선 수학에 도달했다는 사실이지, 수학이 AI에게 넘어갔다는 결론은 아니다.

자료 출처: OpenAI 공식 발표 / Terence Tao 블로그 / Math and AI 공동 선언 / NBC News
이미지 출처: OpenAI
최종 업데이트: 2026년 9월 17일