4억 5천만 달러의 의문: 실리콘밸리 거물들이 AI의 '어두운 면'에 베팅하는 이유

인공지능 기업들이 나날이 강력한 모델을 구축하기 위해 경쟁하던 9월 어느 수요일 아침, 비교적 알려지지 않았던 한 이스라엘 스타트업이 8천만 달러의 막대한 자금을 확보하며 베일을 벗었다. 이들의 임무는 AI가 세상에 공개되기 전에 해를 끼칠 수 있는 능력을 시험하는 것으로, 그 무게감이 남다르다.

이전 '패턴 랩스(Pattern Labs)'였던 이레귤러(Irregular)는 세콰이어 캐피탈(Sequoia Capital)과 레드포인트 벤처스(Redpoint Ventures)가 주도하고 위즈(Wiz) CEO 아사프 라파포트(Assaf Rappaport)가 참여한 대규모 투자 유치 라운드를 발표했다. 이번 거래에 정통한 소식통들은 이레귤러의 기업 가치를 약 4억 5천만 달러로 평가했는데, 이는 30명 남짓한 직원을 둔, 그리고 대부분의 업계 관계자들이 이번 주까지는 전혀 들어본 적 없던 기업으로서는 매우 놀라운 수치다.

그러나 이레귤러의 흔적은 이미 우리 시대의 가장 중요한 AI 시스템 곳곳에 깊이 박혀 있다. 이 회사의 보안 평가는 오픈AI(OpenAI)의 o3 및 o4-mini 모델 시스템 카드에 명확하게 명시되어 있으며, 앤스로픽(Anthropic) 또한 클로드 3.7 소네트(Claude 3.7 Sonnet) 평가에서 이레귤러와의 협력 작업을 언급하고 있다. AI 취약점 탐지 점수화를 위한 이들의 SOLVE 프레임워크는 이미 업계 표준으로 자리 잡았으며, 전 세계에서 가장 발전된 AI 시스템이 출시 전에 어떻게 테스트되는지를 조용히 재정의하고 있다.

실리콘밸리 최고의 인재들이 AI 전쟁을 우려할 때

이번 투자는 기술 산업이 인공지능 위험을 바라보는 방식의 근본적인 변화를 단적으로 보여준다. 과거에는 AI 편향이나 잘못된 정보 생성에 대한 우려가 주를 이루었다면, 오늘날의 두려움은 훨씬 더 심층적이다. 자율적인 사이버 공격, 고도로 정교한 취약점 발견, 그리고 기존 방어 체계를 압도할 수 있는 방식으로 여러 AI 에이전트 간의 유기적인 조정이 가능한 AI 시스템의 출현이 바로 그것이다.

공동 창립자 댄 라하브(Dan Lahav)는 업계 관계자들에게 "머지않아 많은 경제 활동이 인간과 AI의 상호작용, 그리고 AI와 AI의 상호작용에서 발생할 것이며, 이는 여러 지점에서 기존 보안 스택을 무너뜨릴 것"이라고 설명했다. 그의 파트너이자 최고기술책임자(CTO) 오머 네보(Omer Nevo)는 그들의 접근 방식을 군사 작전과 같은 정밀함으로 묘사했다. "우리는 AI가 공격자와 방어자 역할을 모두 수행하는 복잡한 네트워크 시뮬레이션을 운영합니다. 새로운 모델이 출시되면 방어 체계가 어디에서 효과를 발휘하고 어디에서 취약한지 명확히 파악할 수 있습니다."

이는 단순히 이론적인 추측이 아니다. 오픈AI는 올여름 기업 스파이 활동에 대한 우려로 내부 보안 프로토콜을 전면 개편했다. 한편, 최첨단(frontier) AI 모델들은 소프트웨어 취약점을 식별하는 데 점점 더 정교한 능력을 입증해 왔다. 이러한 능력은 방어 목적뿐만 아니라 공격 목적에도 활용될 수 있다. 최근 평가에 따르면 이 시스템들은 정교한 공격을 계획할 수 있지만, 인간의 지원 없이는 실행까지는 미치지 못하는 경우가 많다.

AI 시스템이 확장되면서 예상치 못한 능력이 발현되는 "예측 불가능한 행동(emergent behaviors)"의 등장은 보안 전문가들이 '움직이는 표적 문제(moving target problem)'라고 부르는 상황을 초래했다. 선의의 목적으로 훈련된 모델이라도 사이버 전쟁에 대한 고급 추론 능력이나 다른 AI 시스템과의 자율적인 조율 능력 등, 개발자들이 전혀 의도하지 않았던 기술을 자발적으로 개발할 수 있다는 것이다.

디지털 레드팀의 과학

이레귤러의 접근 방식은 실제 네트워크 아키텍처를 그대로 반영한 정교한 시뮬레이션 환경을 구축하는 데 집중한다. AI 모델을 속여 유해한 반응을 유도하는 단순한 '탈옥(jailbreaking)' 시도와는 달리, 이들의 테스트는 AI 에이전트가 실제와 같은 네트워크 방어 체계를 뚫고, 권한을 상승시키며, 특정 목표를 달성해야 하는 복잡한 다단계 시나리오로 이루어진다.

이레귤러의 SOLVE 점수 시스템은 AI 모델이 취약점 발견 및 악용 작업을 처리하는 방식에 대한 세밀한 평가를 제공한다. 이 프레임워크는 주요 AI 연구소와 정부 기관이 수행하는 평가에 포함되며 업계 전반에서 큰 주목을 받고 있다. 영국 정부와 앤스로픽(Anthropic) 모두 보안 평가에서 SOLVE를 언급하고 있어, 이 프레임워크가 AI 보안 평가의 사실상 표준(de facto standard)이 될 가능성이 크다.

이레귤러가 기존 사이버 보안 기업들과 차별화되는 점은 바로 '예측 불가능한 위험(emergent risks)'에 집중한다는 것이다. 이는 아직 현실에서 드러나지 않았지만, AI 기능이 발전함에 따라 언제든 나타날 수 있는 위협들을 의미한다. 이레귤러의 시뮬레이션 환경은 현재 모델의 능력뿐만 아니라, 지속적인 훈련이나 다른 시스템과의 상호작용을 통해 발생할 수 있는 잠재적인 미래 행동까지도 테스트한다.

업계 분석가들은 이레귤러가 주요 연구소의 출시 전 AI 모델에 조기에 접근할 수 있다는 점이 상당한 경쟁 우위를 제공한다고 언급한다. 이러한 이점 덕분에 이들은 AI 모델이 대중에게 배포되기 전에 보안 취약점을 식별하여 잠재적으로 현실 세계에서의 사고를 미연에 방지할 수 있다.

보안 군비 경쟁을 이끄는 시장의 동력

AI 보안 시장은 전례 없는 성장을 경험하고 있으며, 2028년까지 관련 지출이 200억 달러를 넘어설 것으로 전망된다. 이러한 급증은 AI 시스템의 사용이 확대되는 동시에 관련 위험에 대한 인식이 높아지고 있음을 반영한다. AI로 생성된 딥페이크로 수십억 달러의 사기 피해가 발생하고, AI를 활용한 중요 인프라 공격에 대한 우려가 커지는 등 최근 발생한 사건들은 보안을 더 이상 부차적인 고려 사항이 아닌, AI 시스템 배포의 필수 전제 조건으로 격상시켰다.

규제 압력 또한 AI 보안 솔루션 채택을 가속화하고 있다. 2025년 8월 발효될 예정인 유럽연합(EU)의 AI 법안은 고성능 AI 시스템에 대한 포괄적인 위험 평가를 의무화한다. 이와 유사한 요구 사항들이 여러 국가와 지역에서 나타나고 있으며, 이는 표준화된 평가 프레임워크와 제3자 보안 평가에 대한 수요를 촉발하고 있다.

경쟁 구도를 살펴보면, 통합될 여지가 많은 파편화된 시장임을 알 수 있다. 주요 사이버 보안 플랫폼들은 전문 AI 보안 기업들을 인수하기 시작했다. 시스코(Cisco)는 로버스트 인텔리전스(Robust Intelligence)를, 팔로알토 네트웍스(Palo Alto Networks)는 프로텍트 AI(Protect AI)를, 체크포인트(Check Point)는 라케라(Lakera)를 인수했다. 이러한 움직임은 AI 보안이 기존 사이버 보안 접근 방식으로는 해결할 수 없는 전문적인 지식을 요구한다는 인식을 보여준다.

이레귤러는 평가 서비스 제공자이자 잠재적인 표준 제정자로서의 위치를 확보하며 이러한 시장 통합의 물결 속에서 중심적인 역할을 하고 있다. 주요 AI 연구소 및 정부 기관과의 긴밀한 관계는 현재 수익을 넘어선 전략적 가치를 제공하는데, 소식통에 따르면 이 회사가 베일을 벗은 지 얼마 되지 않았음에도 불구하고 이미 연간 수백만 달러의 매출을 올리고 있다고 한다.

불확실한 환경에서의 투자 시사점

기관 투자자들에게 이레귤러는 AI 시스템 자체의 역량보다는 AI 배포 인프라 계층에 대한 투자로 비춰진다. AI 시스템이 더욱 강력해지고 보편화될수록, 이를 보호하는 보안 계층은 점점 더 중요하고 가치 있는 부분이 되기 때문이다.

이레귤러의 4억 5천만 달러 기업 가치는 순수한 재정적 평가보다는 전략적 고려를 더 많이 반영한다. 오픈AI, 앤스로픽, 구글 딥마인드(Google DeepMind)의 출시 전 모델에 접근할 수 있다는 점에서 이레귤러는 AI 생태계 내에서 독보적인 위치를 차지한다. 이러한 접근성뿐만 아니라 업계 표준에 대한 영향력이 커지고 있다는 점은 이레귤러가 상당한 플랫폼 가치를 창출할 잠재력을 가지고 있음을 의미한다.

시장 역학은 포괄적인 AI 보안 솔루션을 제공할 수 있는 기업에 유리하게 작용한다. 여러 AI 시스템이 자율적으로 조정되는 'AI 간 상호작용(AI-on-AI interactions)'으로의 전환은 기존의 보안 접근 방식으로는 해결할 수 없는 새로운 보안 과제를 발생시킨다. 이레귤러가 다중 에이전트 시뮬레이션에 집중하는 것은 이러한 전환기에 유리한 위치를 점하게 한다.

위험 요소로는 주요 AI 연구소들이 자체적인 보안 역량을 개발하여 외부 평가 서비스에 대한 수요가 줄어들 가능성이 있다는 점이 있다. 하지만 독립적인 평가에 대한 규제 요구 사항과 고급 AI 보안 테스트의 복잡성을 고려할 때, 전문적인 솔루션 제공업체에 대한 수요는 계속될 것으로 보인다.

미래를 내다보는 투자자들은 이레귤러가 평가 서비스를 넘어 런타임 보안 제어(runtime security controls) 분야로 사업을 확장하는지, 규제 기관들이 이들의 프레임워크를 채택하는지, 그리고 AI 시스템이 더욱 정교해짐에 따라 테스트 역량을 효율적으로 확장할 수 있는지 등 몇 가지 핵심 지표를 면밀히 주시해야 할 것이다.

AI 우선 시대의 나아갈 길

이레귤러의 등장은 보안이 AI 시스템 배포 결정의 핵심 요소로 자리 잡는 AI 산업의 광범위한 성숙을 반영한다. 베일을 벗은 지 얼마 되지 않아 유니콘 기업에 준하는 가치를 인정받았다는 점은, AI 보안이 단순히 필요한 것을 넘어 막대한 기회를 제공한다는 투자자들의 인식을 보여준다.

이번 투자 발표는 AI 산업이 혁신 속도와 안전 고려 사항 사이의 균형을 맞추기 위해 고심하는 시점에 이루어졌다. 최근 평가에 따르면 현재 AI 시스템은 사이버 공격에 도움을 줄 수 있지만, 숙련된 인간 운영자에 비하면 여전히 그 능력이 제한적이다. 하지만 AI의 발전 경로는 사이버 보안 환경을 근본적으로 뒤바꿀 수 있는 더욱 유능하고 자율적인 시스템으로 향하고 있다.

AI 시스템이 중요 인프라, 금융 서비스, 그리고 국가 안보 애플리케이션에 더욱 광범위하게 적용됨에 따라, 보안을 제대로 확립하는 것의 중요성은 계속해서 증대되고 있다. 이레귤러와 같은 기업들은 AI 역량이 실제 환경에 배포되기 전에 그 한계를 시험하는 중요한 문지기 역할을 수행한다.

이레귤러에 대한 8천만 달러 투자는 AI 보안이 거대한 시장 범주로 성장할 것이라는 폭넓은 신뢰를 보여준다. 직접적인 AI 기술 역량보다는 AI 인프라 분야에 대한 투자를 모색하는 투자자들에게 보안 평가 및 런타임 보호를 제공하는 기업들은 급변하는 환경 속에서 매우 매력적인 투자 기회가 될 수 있다.

이레귤러가 초기의 성공적인 평가 경험을 플랫폼 지배력으로 이어갈 수 있을지는 여전히 미지수다. 그러나 AI 발전과 보안 필요성이라는 두 가지 핵심 요소의 교차점에 위치한 이들의 입지는, 사회가 점차 강력해지는 인공지능 시스템의 위험과 이점을 관리하는 방식을 형성하는 데 있어 이레귤러가 영향력 있는 역할을 수행할 것임을 시사한다.