24시간 코더: OpenAI의 최신 코딩 모델 GPT-5.1-Codex-Max의 약속과 위험
새로운 모델이 소프트웨어 개발에서 AI의 역할에 대한 의문을 제기하면서 엔지니어링 팀은 엇갈린 결과를 보고합니다.
OpenAI의 최신 코딩 모델은 인간 개발자들을 지치게 할 복잡한 소프트웨어 작업에 집중하기 위해 메모리를 자동으로 압축하며 24시간 이상 연속으로 독립적으로 작업할 수 있습니다. 그러나 기술이 새로운 영역에 도달함에 따라, 초기 사용자들은 순수한 역량이 항상 실질적인 생산성으로 이어지는 것은 아니라는 점을 발견하고 있습니다.
OpenAI는 수요일에 GPT-5.1-Codex-Max를 출시했으며, 이를 여러 시간 동안 지속되는 엔지니어링 작업을 자율적으로 처리할 수 있는 AI 시스템, 즉 '에이전트형(agentic)' 코딩의 획기적인 발전으로 내세웠습니다. 이 모델은 SWE-Bench Verified 테스트에서 예상치 77.9%를 달성하며 Anthropic과 Google의 최근 모델들을 앞섰습니다. 내부 벤치마크에서는 훨씬 더 가파른 개선을 보였는데, OpenAI 자체 엔지니어링 평가에서 66.3%에서 79.9%로 뛰어올랐습니다.
그러나 ctol.digital의 엔지니어링 팀은 이 기술의 역량에 대해 보다 미묘한 그림을 제시합니다. 그들의 내부 검토에 따르면, 특정 상황에서는 탁월하지만 다른 상황에서는 어려움을 겪는 도구로 드러났는데, 이는 AI 보조 개발의 다음 단계를 정의할 수 있는 패턴일 수 있습니다.
ctol.digital 팀은 평가에서 "더 나은 장기 코딩 및 코드 검토 품질"을 언급하며 이 모델의 "여러 시간 작업에 대한 더욱 강력한 지속적 추론" 능력을 칭찬했습니다. 일부 엔지니어들은 특정 워크플로우에서 Anthropic의 Sonnet 4.5에 비해 "놀라울 정도로 뛰어난" 성능을 보였다고 밝혔습니다. 이 팀은 유사한 결과를 얻기 위해 약 30% 더 적은 계산 토큰이 필요하다는 OpenAI의 효율성 주장을 확인했습니다.
그러나 이러한 이점에는 중요한 주의사항이 따랐습니다. ctol.digital 엔지니어들은 "복잡한 빌드에서 속도, 신뢰성 및 완성도 문제"를 보고했으며 "특정 워크로드에서 지난 한 달 동안 인지되는 품질 저하"를 지적했습니다. OpenAI가 27~42%의 속도 향상을 자랑하는 반면, 엔지니어링 팀은 다른 경험을 했습니다. 경쟁 시스템의 초당 약 80개 토큰에 비해 초당 약 18개 토큰의 출력 속도로 "대화형 작업에서 Claude/Sonnet보다 느리게 느껴질 수 있는" 생성 속도였습니다.
벤치마크 성능과 실제 유용성 간의 격차는 엔드 투 엔드(end-to-end) 애플리케이션 생성에서 가장 두드러지게 나타났습니다. ctol.digital 팀은 "UI 버그, 실패하는 스크립트, 부분적인 구현"을 문서화했는데, 이는 OpenAI가 모델이 장시간 세션 동안 탁월하다고 주장하는 바로 그 종류의 작업이었습니다. 엔지니어들은 시스템이 "특정 프롬프트에서 모호하거나 장황해져, 엄격한 지침을 요구한다"는 점을 발견했는데, 이는 모델의 자율성이 여전히 인간의 감독에 의해 제한된다는 것을 시사합니다.
OpenAI는 출시 자료에서 이러한 우려 중 일부를 간접적으로 다루고 있습니다. 회사는 "Codex가 장시간 작업에 더욱 능숙해짐에 따라, 개발자들이 변경 사항을 적용하거나 프로덕션에 배포하기 전에 에이전트의 작업을 검토하는 것이 점점 더 중요해진다"고 경고합니다. 이 성명은 ctol.digital의 경험이 확인하는 바를 인정합니다. 이러한 시스템은 여전히 실수를 하며, 더 많은 코드를 생성할수록 "향후 디버깅을 위해 이를 검증하고 이해하는 것이 더 어려워집니다."
회사는 자사 엔지니어의 95%가 매주 Codex를 사용하며 도입 이후 풀 리퀘스트가 70% 증가했다고 보고합니다. 그러나 이러한 내부 지표는 외부 팀이 문서화한 마찰, 즉 느린 응답, 불완전한 구현, 장황한 출력을 방지하기 위한 '엄격한 지침'의 필요성을 포착하지 못할 수 있습니다.
이 기술은 지속적 추론과 메모리 관리 분야에서 진정한 발전을 나타냅니다. 그러나 ctol.digital의 검토는 업계가 더 근본적인 질문에 직면해 있음을 시사합니다. AI 에이전트가 몇 시간 또는 며칠 동안 자율적으로 작업할 수 있게 됨에 따라, 그 결과물을 검토하고 이해하며 디버깅하는 부담이 생산성 향상을 상쇄할 것인가? 이 질문에 대한 답이 이 시스템들이 없어서는 안 될 코딩 파트너가 될지, 아니면 정교하고 값비싼 자동 완성 도구가 될지를 결정할 수 있습니다.