기계 지능의 환상: AI의 "추론 혁신"은 신기루일 수도 있다
획기적인 연구가 인공지능이 스스로 생각하는 법을 배우고 있다는 주장의 근간을 뒤흔들다
인공지능(AI) 업계는 지난 한 해 동안 분수령이 될 만한 순간으로 보이는 것을 축하해왔습니다. 마치 인간 학생이 연습과 피드백을 통해 수학을 통달하는 것과 흡사하게, 스스로 추론하는 법을 배우고 새로운 문제 해결 전략을 발견하는 AI 시스템의 등장이 그것입니다.
그러나 새로운 연구 논문은 그러한 서사를 완전히 뒤집을 위협을 제기합니다. 업계가 자율 학습이라고 환영했던 것이 정교한 최적화 기술에 지나지 않을 수도 있음을 시사하는 것입니다. 이 기술은 AI 시스템을 더 빠르고 안정적으로 만들지만, 동시에 전반적인 능력을 저하시킵니다.
그 영향은 학계 연구실을 훨씬 넘어섭니다. 만약 이 연구 결과가 사실로 밝혀진다면, 진정으로 지능적인 기계로 가는 길이 업계가 현재 질주하고 있는 길과는 근본적으로 다를 수 있음을 시사합니다. 수십억 달러에 달하는 투자가 능력을 확장하기보다는 기존 능력을 다듬는 데에 집중되고 있을 가능성이 있습니다.
모든 것을 바꾼 실험
이 연구는 겉보기에는 간단한 질문에 달려 있습니다. AI 모델이 훈련 후 문제 해결 능력이 향상될 때, 새로운 기술을 진정으로 배우는 것인가, 아니면 이미 가지고 있던 기술에 더 효율적이 되는 것일 뿐인가?
이를 답하기 위해 연구자들은 새로운 테스트 방법론을 개발했습니다. 질문에 대한 첫 번째 답변으로 AI 시스템을 평가하는 일반적인 접근 방식 대신, 각 문제에 대해 모델에게 100번의 시도를 허용했습니다. 이 "pass@100" 지표는 놀라운 사실을 밝혀냈습니다. 원래의 훈련되지 않은 기본 모델이 우월하다고 여겨지는, 강화 학습으로 훈련된 모델들보다 실제로 더 광범위한 문제를 해결할 수 있었다는 것입니다.
이러한 패턴은 여러 AI 모델 계열에 걸쳐, 수학 및 코딩 과제에 걸쳐, 그리고 다양한 훈련 알고리즘에 걸쳐 나타났습니다. 훈련된 모델은 첫 시도에서 실제로 더 빠르고 정확했습니다. 그러나 그들의 전체 지식은 협소해졌습니다. 그들은 일반적인 해결책을 찾는 데 특화되었지만, 오직 기본 버전만이 해결할 수 있었던 비정상적인 문제들을 다루는 능력을 잃었습니다.
책을 잃어버린 도서관
이 발견은 AI 개발의 핵심 가정을 뒤엎습니다. 지배적인 이론은 강화 학습(정답에 대한 보상을 통해 AI를 훈련시키는 것)이 딥마인드의 게임 플레이 시스템처럼 작동할 것이라고 보았습니다. 이 시스템은 인간이 상상조차 하지 못했던 완전히 새로운 전략을 발견했습니다.
대신 연구자들은 세심하지만 편협한 사서에 더 가까운 것을 발견했습니다. 훈련 과정은 작동하는 답변들을 쉽게 접근 가능한 앞쪽 선반으로 옮겼습니다. 반면 다른 해결책들(그중 일부는 어려운 문제에 대한 유일한 올바른 접근 방식이었음)은 효과적으로 잊혀져 모델 지식의 뒤쪽 서가에서 사라졌습니다.
기본 모델은 비효율적이고 정돈되지 않았음에도 불구하고 전체 라이브러리에 접근할 수 있었습니다. 훈련된 모델은 더 나은 선반 정리 상태를 가졌지만 책은 더 적었습니다.
연구자들이 "분포 샤프닝(distributional sharpening)"이라고 부르는 이것은, 근본적인 능력이 정체되거나 감소하는 동안에도 첫 시도 정확도를 측정하는 벤치마크에서 AI 시스템이 왜 그렇게 인상적으로 보이는지 설명합니다. 업계는 효율성을 측정하고 그것을 지능으로 오인해왔습니다.
우리가 발견이라고 생각했던 것은 사실 검색이었다
연구팀은 더 나아가, 훈련된 모델이 문제를 해결하는 데 사용한 실제 추론 경로를 분석했습니다. 그들은 강화 학습으로 훈련된 모델이 생성한 "정답" 해결책이 기본 모델에서 이미 높은 확률의 경로, 즉 가능한 답변의 숲을 가로지르는 잘 닦인 길과 같다는 것을 발견했습니다.
훈련은 모델에게 새로운 길을 개척하는 법을 가르치지 않았습니다. 단지 익숙한 길을 더 일관되게 따르도록 훈련했을 뿐입니다.
이 발견은 더 작은 "학생" 모델이 더 유능한 "선생님"으로부터 배우는 지식 증류(knowledge distillation)와는 극명한 대조를 이룹니다. 연구자들은 증류가 모델의 추론 경계를 진정으로 확장할 수 있음을 보여주었습니다. 왜냐하면 학생은 이전에 소유하지 못했던 능력을 배우기 때문입니다. 그러나 모델이 강화 학습을 통해 스스로를 개선하려고 할 때, 그것은 자신의 기존 지식의 경계에 의해 제약받는 것으로 보입니다.
다가올 현실
AI 산업에게 있어 그 의미는 심오하고 불편합니다. 기업들은 강화 학습이 더욱 유능한 시스템으로 가는 길이라는 전제에 막대한 투자를 해왔습니다. 이 연구는 그러한 투자가 가장 중요한 차원, 즉 근본적인 능력 면에서 수익 감소를 초래하고 있음을 시사합니다.
이 연구는 강화 학습을 완전히 무시하는 것은 아닙니다. 일관되게 작동하는 코드를 생성하는 코딩 도우미, 또는 표준 문제를 안정적으로 해결하는 수학 튜터와 같이 안정적이고 특정 작업에 특화된 시스템을 구축하는 데에는 현재의 훈련 방법은 여전히 강력한 도구입니다. 그것들은 정해진 작업에서 좋은 시스템을 훌륭하게 만드는 데 탁월합니다.
그러나 대중의 상상력을 사로잡았던 더 큰 야망, 즉 이전에 해결 불가능했던 문제를 해결하고 진정한 발견을 할 수 있는 일반 인공지능(AGI)의 경우, 이 연구는 업계가 잘못된 목표를 최적화하고 있을 수도 있음을 시사합니다. 첫 시도에서 95%를 득점하지만 1,000가지 유형의 문제를 해결할 수 있는 모델은, 60%를 득점하지만 충분한 샘플링을 통해 2,000가지 유형을 해결할 수 있는 모델보다 가치가 떨어질 수 있습니다.
앞으로 나아갈 길은 여전히 불분명합니다. 이 연구는 가장 중요한 단계가 훈련 후 미세 조정이 아니라, 모델이 잠재적인 지식과 추론 패턴의 저장소를 개발하는 방대한 데이터셋에 대한 초기 사전 훈련일 수 있음을 강조합니다. 또한 진정한 능력 확장은 근본적으로 다른 접근 방식을 요구할 수 있음을 시사합니다. 다중 턴 상호작용, 더 풍부한 탐색 메커니즘, 또는 모델의 기존 지식 경계를 넘어 확장되는 진정으로 새로운 경험에 대한 접근과 같은 방식들입니다.
분명한 것은 이 분야가 더 이상 세련됨을 능력으로, 또는 효율성을 지능으로 혼동해서는 안 된다는 것입니다. 사서는 기존 컬렉션을 훌륭하게 정리하는 법을 배웠습니다. 그러나 새로운 책을 쓰는 것, 즉 진정한 발견은 여전히 요원합니다.