학술 출판계의 마지막 환상을 깨뜨린 유출
2025년 11월 27일, OpenReview API의 보안 취약점은 수년간의 불평, 개혁 제안, 그리고 고뇌로도 해내지 못한 일을 해냈습니다. 바로 학계로 하여금 동료 심사의 객관성이라는 외피 아래 썩어가는 인프라를 직면하게 만든 것입니다.
기술적인 세부 사항은 거의 민망할 정도로 간단합니다. 기본적인 API 지식만 있다면 누구나 OpenReview의 profiles/search 엔드포인트를 쿼리하여 플랫폼에 있는 모든 학술 대회—ICLR, NeurIPS, ICML 등 수십 개의 학술 대회—의 심사자, 저자, 그리고 영역 의장을 밝혀낼 수 있었습니다. 인증도 필요 없었습니다. 전송률 제한도 없었습니다. 단순히 익명으로 추정되던 심사 뒤의 신원에 대한 원시적인 접근이었습니다.
OpenReview는 공개된 지 한 시간 이내에 이 허점을 패치했습니다. 그러나 그 피해는 단순한 데이터베이스 유출을 넘어섭니다. 유출된 것은 단순히 이름과 소속만이 아니었습니다. 이미 붕괴 직전인 시스템이 공정성이라는 허구조차 유지할 수 없게 되었다는 증거였습니다.
이중 맹검의 환상
즉각적인 파급 효과는 학계 누아르(noir)를 연상시킵니다. 박사 과정 학생들은 자신들의 가장 혹독한 비평가가 출판물과 학점이 거의 없는 석사 과정 학생이었다는 사실을 알게 되었습니다. 저자들은 직접 경쟁하는 연구실의 심사자들이 자신들의 작업을 폄훼하고 몇 달 후 유사한 논문을 서둘러 출판하는 것을 발견했습니다. 80개 이상의 사소한 지적 사항이 담긴 "손수 작성된" 전설적인 심사평은 바이러스처럼 퍼지는 농담이 되었고, 저자들은 "이번 심사 주기 동안 모두의 스트레스를 덜어주어 고맙다"고 심사자에게 감사를 표했습니다.
일부 심사자들은 신원이 확인된 후 하룻밤 사이에 점수를 4점에서 10점으로 올린 것으로 알려졌습니다. 다른 심사자들은 제출 댓글에서 신상 털기(doxxing) 캠페인에 직면했습니다. ICLR은 즉시 거부, 다년간의 금지 조치, 그리고 법 집행 기관 개입의 위협으로 대응했습니다—레딧에 탈출을 생중계한 말들이 사라진 뒤 외양간 문을 잠그는 학계의 격이었습니다.
그러나 학계의 반응은 쾌감(schadenfreude)보다 더 깊은 것을 드러냅니다. 많은 고립된 연구자들에게 이번 유출은 정당성을 입증받는 듯한 느낌을 주었습니다. 수년간의 자기 의심—어쩌면 내 연구가 정말 좋지 않은 건가—은 그들이 마침내 자신들의 거절 뒤에 숨겨진 기계 장치를 볼 수 있게 되자 사라졌습니다: 그들의 전문 분야를 훨씬 벗어난 주니어 심사자들, 명백한 이해 충돌, 악의적인 문지기 역할.
한 박사 과정 학생은 많은 이들이 이제 생각하지만 감히 공개적으로 말하지 못하는 것을 표명하며 "이것은 '상호 파괴'가 아닙니다. 그들의 전술을 그들에게 역이용하는 것입니다"라고 썼습니다.
실패하도록 만들어진 시스템
구조적인 문제는 어떤 유출보다도 앞서 존재했습니다. AI 학술 대회는 현재 수만 건의 제출물을 받고 있으며, 이는 자격 있는 심사자 공급을 훨씬 초과합니다. 이에 대처하기 위해 주최 측은 제출하는 저자들에게 경쟁자의 작업을 심사하도록 강요합니다—이것은 다른 어떤 분야에서도 윤리 조사를 유발할 정도로 노골적인 이해 충돌입니다. 1년차 박사 과정 학생들이 선구적인 연구를 심사합니다. 한 자릿수 출판 수를 가진 심사자들이 선임 연구자의 경력에 사활을 걸 수 있는 권력을 휘두릅니다.
그 결과는 동료 심사가 아니라 잘못된 목표에 최적화된 혼란스러운 복권입니다. 저자들은 과학을 발전시키기보다는 "화려한 그림"과 "눈길을 끄는 이야기"를 완벽하게 만드는 데 몇 달을 보냅니다. 심사자들 자신도 스트레스를 받는 제출자이기에 사려 깊은 피드백을 제공할 시간도 동기도 부족합니다. 영역 의장들은 종종 독립적인 판단 없이 심사자들의 합의에 고무도장처럼 승인합니다.
한 비평가는 이렇게 말했습니다: "이것은 과학이 아니라 광고입니다."
급진적인 대안
혼란 속에서 개혁을 위한 진지한 제안들이 나오고 있습니다. 가장 흥미로운 것은 심사 과정을 예측 시장으로 재해석하는 것입니다. 심사자들은 논문의 미래 영향력(인용, 재현, 깃허브 별표 등)에 명성 토큰을 겁니다. 좋은 작업을 악의적으로 억누르고 싶다면, 시장이 조정될 때 재정적 파멸을 감수하며 이를 심하게 공매도해야 할 것입니다. 음모를 꾸미는 파벌은 합리적인 차익거래자들에게 수확될 '개미 투자자'가 됩니다.
이 아이디어는 암호화폐의 최악의 폐단에서 차용했지만, 현재 시스템에는 없는 책임감의 핵심을 담고 있습니다. 잘못된 판단에는 비용이 따를 것입니다. 좋은 판단은 측정 가능한 보상을 쌓을 것입니다. 익명의 권력에는 이해관계(skin in the game)가 필요할 것입니다.
무엇이 죽고, 무엇이 살아남는가
OpenReview의 취약점은 학계가 이미 알고 있었지만 인정할 수 없었던 진실을 드러냈습니다: AI 연구에서의 이중 맹검 동료 심사는 연극에 불과하다는 것입니다. 전문화된 세부 분야에서 연구자들은 프리프린트, 글쓰기 스타일, 주제 선정만으로도 서로의 작업을 알아봅니다. 이번 유출은 소문 네트워크와 학회장 복도에서 이미 드러나고 있던 것을 단순히 공식화한 것에 불과합니다.
무엇이 유출되었는지보다 다음에 어떤 일이 일어날지가 더 중요합니다. 일부 학술 대회는 심사자들의 명성이 여러 장소에서 따라다니는 공개적이고 서명된 심사를 받아들일 수도 있습니다. 다른 학술 대회는 폭발적인 성장과 자원 부족이 시스템을 망가뜨렸다는 것을 받아들일 수도 있습니다. 예측 시장 제안은 아무리 급진적이라 할지라도 무엇이든 시도할 만큼 절박한 학계의 모습을 보여줍니다.
진정한 질문은 익명 동료 심사가 살아남느냐가 아닙니다. 학술 출판계가 폐허 위에서 더 나은 것을 구축할 수 있느냐입니다. 11월 27일, 위장은 무너졌습니다. 그 자리를 무엇이 채울지가 AI 시대에 과학이 작동하는 방식을 정의할 것입니다.