캘리포니아주, AI 규제 청사진 다시 그리다
미국 최초의 AI 투명성 법안, 빅 테크에 경고장 던지며 연방 차원 조치 압박
새크라멘토 — 캘리포니아주가 판도를 뒤흔들었습니다. 개빈 뉴섬 주지사는 월요일, 세계에서 가장 강력한 인공지능 기업들이 안전 관행을 공개하고 심각한 사고 발생 시 15일 이내에 주 정부 당국에 알리도록 의무화하는 획기적인 법안에 서명했습니다.
SB 53로 알려진 이 법안은 작년 뉴섬 주지사가 업계 선두 주자들이 맹렬히 반대했던 더 강력한 AI 규제 법안에 거부권을 행사했던 것과는 극적인 변화를 보여줍니다. 이번에는 킬 스위치나 AI 기능에 대한 직접적인 제한 없이 실질적인 투명성을 확보하는 법안을 신중하게 마련했습니다.
뉴섬 주지사는 성명에서 "캘리포니아주는 지역사회를 보호하기 위한 규제를 확립하면서도 성장하는 AI 산업이 계속 번성할 수 있도록 보장할 수 있다는 것을 입증했습니다"라고 밝혔습니다.
이 신중한 어조 뒤에는 대담한 현실이 숨어 있습니다. 캘리포니아주는 최첨단 AI에 대한 미국 최초의 주(州) 단위 투명성 체제를 가동했습니다. 이번 조치는 다른 주들로 도미노 효과를 촉발하여, 실리콘밸리 억만장자들이 이와 같은 법안을 막기 위한 캠페인에 자금을 쏟아붓고 있음에도 불구하고, 워싱턴이 마침내 국가가 인공지능을 어떻게 감독해야 하는지에 대해 직면하도록 압박할 수 있습니다.
법안의 주요 내용
SB 53은 연간 5억 달러 이상의 매출을 올리고 막대한 훈련 워크로드를 운영하는 "대규모 최첨단 개발사"를 대상으로 합니다. 이 기준에는 OpenAI, Anthropic, Meta, Google DeepMind가 포함되지만, 소규모 스타트업은 제외됩니다.
규정은 간단하면서도 광범위합니다. 대상 기업들은 수십억 달러 규모의 손해나 대규모 인명 피해와 같은 치명적인 위험으로부터 어떻게 방어하는지 설명하는 내부 안전 지침서의 수정본을 공개해야 합니다. 또한 "중대한 안전 사고"를 캘리포니아주 비상 서비스국에 15일 이내에 보고해야 하며, 위협이 임박한 경우 24시간 이내에 보고해야 합니다.
주 정부는 물리적 피해에만 그치지 않았습니다. 이 법은 또한 자율적인 사이버 공격과 AI 모델의 기만적인 행동 공개를 요구하는데, 이는 실제로 유럽연합의 AI 법보다 더 나아간 조항입니다. 규정을 준수하지 않는 기업은 위반 건당 최대 100만 달러의 벌금에 직면할 수 있습니다.
그 외에도, 이들 기업 내부의 내부 고발자들은 이제 강력한 법적 보호를 받게 되며, 캘리포니아 대학교는 안전 연구자들이 일반적으로 거대 기술 기업 내부에 갇혀 있는 컴퓨팅 파워에 접근할 수 있도록 돕는 공공 클라우드 서비스인 CalCompute를 출범할 예정입니다.
빅 테크의 분열
이 법안은 실리콘밸리에 깊은 균열을 드러냈습니다. 안전에 중점을 둔 OpenAI 탈퇴자들이 설립한 Anthropic은 이 법안을 지지했습니다. OpenAI와 Meta는 이에 맹렬히 맞섰습니다. OpenAI는 심지어 거부권을 촉구하는 공개 서한을 발표하기도 했습니다.
이러한 분열은 사업 모델로 귀결됩니다. 테스트 및 레드팀 활동에 이미 막대한 투자를 하는 기업들은 규제를 자신들의 우위를 고착화할 기회로 봅니다. 반면 빠른 반복(iteration)으로 성장하는 경쟁사들은 이 규제가 경쟁사들에게 자신들의 운영을 엿볼 기회를 제공하고, 변호사들이 나중에 무기화할 수 있는 서류 흔적을 남길 것을 우려합니다.
한 벤처 투자자는 "이것은 규제 준수 해자를 만듭니다"라며, "성숙한 시스템을 갖춘 연구소들은 준비가 되어 있습니다. 다른 모든 곳은 따라잡기 위해 허둥지둥해야 할 것입니다"라고 말했습니다.
한편, OpenAI와 Meta는 정치적으로 더욱 집중하여, 완화된 규제를 선호하는 슈퍼 PAC(정치활동위원회)에 자금을 쏟아붓고 있습니다. 이들에게 캘리포니아주의 새 법은 단순한 걸림돌이 아니라, 다른 주들이 따를 수 있는 위험한 선례가 될 수 있습니다.
앞서 나가는 주(州)들
캘리포니아주만이 아닙니다. 뉴욕주 의원들은 최근 자체 AI 법안을 통과시켰으며, 현재 캐시 호철 주지사의 서명을 기다리고 있습니다. 이 법안은 15일이 아닌 72시간 이내에 안전 사고 보고를 요구하며, 캘리포니아 법보다 더욱 강력합니다.
이는 분석가들이 "가장 엄격한 기준을 향한 경쟁"이라고 부르는 현상을 초래합니다. 전국적으로 사업을 운영하는 기업들은 일반적으로 규제 준수 악몽을 피하기 위해 모든 사업 부문에 걸쳐 가장 엄격한 규칙을 채택합니다. 만약 뉴욕주가 이 법안을 추진한다면, 더 짧은 보고 기한은 빠르게 사실상의 국가 표준이 될 수 있습니다.
물론 의회도 이 상황을 주시하고 있습니다. 일부 의회 직원들은 연방 차원의 우선권을 제안했지만, 관계자들은 워싱턴에서 포괄적인 AI 입법이 여전히 어려운 싸움이 될 것임을 인정합니다. 당분간 캘리포니아주와 뉴욕주가 분위기를 주도하고 다른 주들이 그 뒤를 따를 것으로 보입니다. 정책 연구자들은 2026년에 3개에서 5개 주가 비슷한 법안을 도입할 것으로 예상합니다.
자금, 시장, 그리고 새로운 규제 준수 경제
월스트리트는 이미 SB 53을 엔론 사태 이후 기업 재무 보고 방식을 재편했던 기업 공개 법안인 사베인스-옥슬리법에 비유하기 시작했습니다. AI 버전의 이 법안은 전체 규제 준수 경제를 탄생시킬 수 있습니다.
기업들은 이제 지속적인 모니터링, 위험 관리 시스템, 그리고 철저한 감사 추적 기록이 필요할 것입니다. 이는 AI 평가 플랫폼, 레드팀 컨설팅, 거버넌스 소프트웨어, 심지어 특화된 보험 상품에 대한 지출 증가를 의미합니다. 투자자들은 여기서 기회를 봅니다. 이미 이러한 기준을 충족하는 기업들은 더 높은 가치 평가를 받을 수 있으며, 뒤처지는 기업들은 구매자들이 안전성 증명을 요구함에 따라 더 긴 판매 주기에 직면할 수 있습니다.
한 가지 조항은 다른 어떤 것보다 중요할 수 있습니다. 바로 AI 모델의 기만적인 행동을 보고해야 하는 요건입니다. 이를 준수하기 위해 연구소들은 시스템이 사용자를 오도하려 할 때 이를 표시하는 새로운 테스트 방법을 개발해야 할 것입니다. "거짓말하는 모델" 평가가 업계 전반의 표준 벤치마크로서 탈옥 방지(jailbreak resistance)와 함께 자리 잡을 것으로 예상됩니다.
다음은 무엇인가
첫 번째 진정한 시험은 올해 하반기 또는 2026년 초 기업들이 자체 안전 프레임워크를 공개할 때 시작될 것입니다. 관찰자들은 이것이 진정한 안전장치인지 아니면 단순한 규제 준수 쇼에 불과한지 면밀히 주시할 것입니다.
둠스데이 시나리오보다는 AI 지원 해킹 시도와 관련될 가능성이 높은 초기 사고 보고서들 또한 규제 집행의 분위기를 결정할 것입니다. 캘리포니아 규제 당국은 벌금 부과에 대해 진지한 태도를 보일 것인지, 아니면 기업에 관대할 것인지를 보여줘야 할 것입니다.
한편, 모든 시선은 뉴욕주로 향하고 있습니다. 만약 호철 주지사가 주의 법안에 서명한다면, 기업들은 특정 지역에서 기능을 차단하거나, 반대로 비용 절감을 위해 통일된 표준을 추진할 수도 있습니다. 어느 쪽이든 연방 의원들에게 조치를 취하라는 압력이 가중될 것입니다.
현재로서는 AI 보안, 감사, 거버넌스 도구를 구축하는 기업들로 현명한 자금이 유입되고 있습니다. 문서화된 안전장치 없이 최첨단 모델에 의존하는 기업들은 기업 계약을 확보하는 데 어려움을 겪을 수 있습니다.
배경에 깔린 정치적 계산
오해하지 마십시오. 이것은 단순히 AI에 대한 이야기만이 아닙니다. 카멀라 해리스가 2028년 대선 경쟁에서 물러나면서, 뉴섬은 민주당 예비선거 초기 여론조사에서 선두를 달리고 있습니다. AI 규제에 대한 "선도자(first mover)" 지위를 주장할 수 있는 그의 능력은 그에게 국가적 차원에서 강력한 논점을 제공합니다.
SB 53을 혁신과 보호 사이의 신중한 균형으로 규정하는 것은 그가 실리콘밸리를 제어할 의지가 있음을 보여주면서 중도층에게 어필할 수 있게 합니다. 물론 이러한 움직임에는 위험이 따릅니다. 비평가들은 이를 미봉책 규제이거나, 반대로 성장을 억압하는 과도한 간섭으로 볼 수도 있습니다.
그러나 현재 뉴섬은 실리콘밸리에 경고장을 던진 민주당원이라는 분명한 정체성을 확립했습니다. 빅 테크에 대한 회의론이 커지는 정치적 분위기 속에서, 이것은 승리의 카드가 될 수 있습니다.
투자 조언 아님