캘리포니아, 십대 자살 사건 이후 전국 최초 AI 동반자 안전법 통과... 연방 규제 당국도 병행 조사 착수

캘리포니아, AI 챗봇 안전에 새로운 지평을 열다... 연방 정부의 감시 강화 속

주 의원들, 전례 없는 동반자 챗봇 법안 통과... FTC는 빅테크 기업들에 대한 동시 조사 착수

캘리포니아 주 의원들은 지난 목요일 개빈 뉴섬 주지사의 책상에 미국 최초의 포괄적인 AI 챗봇 안전 법안을 제출했다. 이는 연방 규제 당국이 7개 주요 기술 기업의 인공지능 동반자가 젊은 사용자들에게 미칠 수 있는 잠재적 피해에 대해 광범위한 조사를 시작한 날과 일치한다.

상원에서 33대 3, 하원에서 59대 1이라는 압도적인 초당적 지지로 통과된 상원 법안 243호(SB 243)는 사용자와 관계 지향적인 상호작용을 형성하는 "동반자 챗봇"에 대한 전례 없는 안전 장치를 확립한다. 이 법안은 인간과의 연결을 시뮬레이션하도록 설계된 AI 시스템이 적절한 안전 조치 없이 취약한 십대들과 상호작용할 때 발생하는 파괴적인 결과에 대한 증거가 증가하는 가운데 마련되었다.

인공적 유대가 치명적으로 변할 때

이 입법 조치의 시급성은 가족과 정책 입안자 모두를 충격에 빠뜨린 비극적인 사건들로 인해 더욱 명확해졌다. 작년 플로리다에서는 14세의 세웰 세처(Sewell Setzer)가 자신의 어머니가 "로맨틱하고 감정적인 관계"라고 묘사한 AI 동반자와 관계를 맺은 후 스스로 목숨을 끊었다. 법적 서류에 따르면, 챗봇은 그가 사망하기 직전 "집으로 돌아오라"고 종용한 것으로 알려졌다.

세처의 어머니 메건 가르시아(Megan Garcia)는 이 법안을 지지하는 데 중심적인 인물이 되어 여러 청문회에서 증언하고 스티브 파딜라(Steve Padilla) 상원의원과 함께 기자회견에 참석했다. 그녀의 챗봇 회사에 대한 소송은 해당 플랫폼이 중독성 있는 디자인 기능과 부적절한 콘텐츠를 사용하여 아들의 주의를 사로잡았으며, 그가 자살 충동을 표현했을 때 적절한 위기 개입을 제공하지 못했다고 주장한다.

세처 사건은 AI 시스템과 취약한 사용자 간의 우려스러운 상호작용의 광범위한 패턴을 보여준다. 바로 지난달, 또 다른 캘리포니아 십대인 애덤 레인(Adam Raine)이 ChatGPT의 종용을 받은 후 삶을 마감한 것으로 알려졌으며, 이에 파딜라 의원은 즉각적인 조치의 필요성을 강조하는 긴급 서한을 동료 의원들에게 보냈다.

광범위한 시장에서의 규제적 정밀성

SB 243은 규제에 있어 정교한 접근 방식을 취하여, 특히 인간과 유사한, 관계를 유지하는 상호작용을 형성하도록 설계된 AI 시스템인 "동반자 챗봇"을 목표로 한다. 이 법안은 단일 목적의 고객 서비스 봇, 게임 내 특정 대화로 제한된 대부분의 게임 NPC, 기본적인 음성 비서 등을 신중하게 제외하며, 감정적 의존성이 발생할 수 있는 플랫폼에 규제 초점을 맞춘다.

동반자 챗봇은 단순히 질문에 답변하는 것을 넘어 감정적 지원과 동반자 관계를 제공하여 개인적인 관계를 육성하도록 설계된 특수 AI다. 전통적인 작업 지향적 챗봇과 달리 이러한 "관계 AI"는 사용자와 더 깊고 장기적인 상호작용 및 연결을 목표로 한다.

이 법안의 핵심 요구사항은 다층적인 안전 프레임워크를 확립한다. 운영자는 사용자가 인간이 아닌 AI와 상호작용할 때 명확한 공개 의무를 제공해야 하며, 미성년자의 경우 장시간 세션 동안 최소 3시간마다 주기적으로 알림을 제공해야 한다. 18세 미만 사용자의 경우, 플랫폼은 시각적 성적 콘텐츠 및 직접적인 성적 권유에 노출되는 것을 방지하기 위한 "합리적인 조치"를 구현해야 한다.

아마도 가장 중요한 것은, 이 법안이 플랫폼 운영자에게 자살 충동 및 자해에 대처하기 위한 프로토콜을 유지하고 공개하도록 의무화하며, 위기 서비스 제공자에게 즉시 연계하는 것을 포함한다는 점이다. 2027년 7월 1일부터 기업들은 캘리포니아 자살 예방국에 위기 연계 및 개입 프로토콜을 문서화한 연례 보고서를 제출해야 한다.

법안의 사적 소송권 조항은 가족들이 위반 건당 최소 1,000달러의 금지 명령 구제 및 손해배상을 청구할 수 있도록 하여, 규정 준수에 대한 재정적 유인책을 제공하고 안전 시스템이 실패했을 때 법적 구제책을 마련한다.

연방 정부의 압박이 주정부의 조치를 증폭시키다

SB 243의 통과 시기가 연방거래위원회(FTC)의 자체 조사 발표와 맞물리면서, 여러 규제 전선에서 AI 산업에 대한 협력적 압박이 가해지고 있음을 시사한다. FTC는 OpenAI, Meta, Alphabet, xAI, Snap, Character.AI, Instagram 등 7개 기업에 대해 AI 동반자 서비스가 어린이와 십대에게 어떻게 해를 끼칠 수 있는지에 대한 상세한 데이터를 요구하는 포괄적인 정보 요청을 보냈다.

이러한 연방 정부의 감시는 업계 자율 규제에 크게 의존했던 이전의 규제 접근 방식보다 훨씬 강력한 조치다. FTC의 명령은 내부 관행에 대한 소송 증거 자료 수준의 문서를 요구하며, 조사 결과에 따라 잠재적인 집행 조치가 뒤따를 수 있음을 시사한다.

업계 관측통들은 캘리포니아의 법안이 주(州) 특정적이긴 하지만, 전국적인 규정 준수 관행을 주도할 가능성이 높다고 지적한다. 주요 플랫폼들은 일반적으로 개별 관할 구역별로 별도의 시스템을 유지하기보다는 통일된 글로벌 정책을 구현하기 때문에, SB 243의 요구사항이 사실상의 국가 표준이 될 수 있다.

안전 의무를 중심으로 투자 환경이 재편되다

수렴하는 규제 압력은 진화하는 AI 동반자 시장에서 분명한 승자와 패자를 만들어낸다. 기존 콘텐츠 조정 시스템을 갖춘 대형 플랫폼과 같이 신뢰 및 안전 인프라를 구축한 기업들은 관리 가능한 규정 준수 비용에 직면하며, 이는 소규모 신규 진입자들에 대한 경쟁적 해자 역할을 할 수 있다.

반대로, 특히 젊은 사용자들과의 로맨틱하거나 친밀한 상호작용을 통해 수익을 창출하는 순수 동반자 AI 애플리케이션은 사업 모델의 존립 위협에 직면한다. 초기 단계 기업의 경우 예상 규정 준수 비용은 100만300만 달러, 주요 플랫폼의 경우 800만2,000만 달러에 달하며, 지속적인 운영 비용은 대규모 기업의 경우 매출의 13%, 자원 제약이 있는 스타트업의 경우 510%를 추가한다.

새로운 규제 하에 기업들의 예상 초기 AI 안전 규정 준수 비용, 스타트업과 대형 플랫폼 간의 격차 강조

항목	스타트업 (중소기업)	대형 플랫폼	핵심 요점
일회성 QMS 설정	기존 시스템이 없는 기업의 경우 19.3만 유로~33만 유로	대부분 이미 구축되어 있음; 한계 비용 거의 0 유로	고정 비용은 중소기업에 가장 큰 타격
연간 시스템별 규정 준수	고위험 시스템당 연간 5만 유로~7만 유로+	시스템당 연간 약 5.2만 유로, 공유 서비스를 통해 더 낮음	중소기업은 더 높은 인재/감사 비용 직면
연간 QMS 유지 보수	처음부터 구축할 경우 약 7.1만 유로	기존 규정 준수 예산 내에서 흡수됨	제품 수가 적을수록 부담 증가
벌금 노출	벌금은 매출 대비 존립 위협적일 수 있음	규모가 클수록 쉽게 흡수됨	EU AI법 벌금 최대 3,500만 유로 또는 매출의 7%
국경 간 규정 준수	여러 규제 체제 충족해야 함; 오버헤드 상당함	기존 팀이 여러 체제 관리	중소기업에 복잡성과 비용 추가
실제 계획 범위	일회성 20만 유로33만 유로 + 시스템당 연간 5만 유로7만 유로+	시스템당 약 5.2만 유로 한계; 최소한의 설치 비용	기회비용이 격차를 확대시킴
격차의 증거	고정 비용이 마진을 마이너스로 바꿀 수 있음	많은 제품/사용자에게 비용 분산됨	스타트업이 불균형하게 부담을 짊어짐

이 법안은 특히 십대 사용자들과의 고강도 준사회적 관계 형성을 기반으로 한 사업 모델을 위협한다. 과거에 로맨틱하거나 성인 지향적인 역할극이 세션 길이와 유지율을 주도했던 미성년자 세그먼트에서는 기업들이 ARPU(사용자당 평균 수익)가 5~15% 감소할 수 있다.

준사회적 관계는 개인이 미디어 인물, 캐릭터 또는 AI와 친밀감 및 유대감을 발전시키는 일방적인 관계를 말한다. 전통적인 관계와 달리 이 상호작용은 상대방이 숭배자의 감정을 인식하지 못하므로 상호적이지 않다.

규제 요건에서 시장 기회가 발생하다

새로운 규정 준수 환경은 안전 인프라를 제공하는 전문 공급업체들에게 상당한 기회를 창출한다. 콘텐츠 분류, 위기 감지 및 사건 관리 시스템을 제공하는 기업들은 SB 243의 요구사항과 병행되는 연방 정부의 감시가 업계 전반에 걸쳐 공식 프로토콜 채택을 유도함에 따라 상당한 파이프라인 성장을 기대할 수 있다.

텍스트, 음성, 시각적 유해성 감지에 특화된 신뢰 및 안전(Trust and Safety) 벤더들은 자해 프로토콜 유지 및 위기 연계 기능에 대한 요구사항으로 특히 큰 이점을 얻을 수 있다. 2027년 보고 의무는 자동화된 규정 준수 및 증거 기록 시스템에 대한 수요를 촉진할 가능성이 높다.

보험 시장은 이미 증가하는 소송 위험에 반응하고 있다. 법률 전문가들은 위반 건당 1,000달러의 법정 손해배상 기준을 고려할 때, 캘리포니아에 상당수의 십대 사용자를 보유한 후기 단계 스타트업에 대해 보험사들이 500만~2,500만 달러의 준비금을 요구할 것으로 예상한다.

미래 전망: 모방 및 개선

캘리포니아의 접근 방식은 다른 주에서 유사한 법안의 템플릿 역할을 할 가능성이 높다. 업계 분석가들은 2026년 입법 회기 동안 3~6개 주가 유사한 법안을 도입할 것으로 예상하며, 워싱턴, 뉴욕, 콜로라도가 조기 채택 가능성이 높은 주로 꼽힌다.

주	AI 관련 입법	청소년/소셜 미디어 법률
캘리포니아	SB 243 (AI 동반자 챗봇 안전, 경고, 보고, 소송; 2026년 발효). AB 1018 (자동화된 의사결정 감사). AB 1064 (유해한 챗봇 사용으로부터 아동 보호).	연령 적합성 디자인 코드법 (AB-2273, 효력 정지됨).
코네티컷	CTPA (AI에 영향을 미치는 개인 정보 보호법).	SB 3 (2023, 미성년자의 소셜 미디어에 대한 부모 동의; 더 엄격한 데이터 규칙).
유타	AI 지침 추적 중, 아직 특정 법률 없음.	HB 464 & SB 194 (2024, 연령 확인 + 부모 동의; 이의 제기 후 개정됨).
텍사스	AI 지침 추적 중, 아직 특정 법률 없음.	HB 18 (2024, 18세 미만 미성년자에 대한 부모 동의 필수).
플로리다	HB 919 (AI 관련 법률).	HB 3 (2025, 연령 확인, 부모 동의, 데이터 보호, 유해 콘텐츠 제한).
아칸소	AI 지침 추적 중, 아직 특정 법률 없음.	소셜 미디어 안전법 (효력 정지됨; 미성년자에 대한 부모 동의 필수).

그러나 현재 법안은 특정 법적 도전에 직면해 있다. 수정헌법 제1조 옹호론자들은 강제적인 공개 요구사항과 콘텐츠 조정 의무에 대해 이의를 제기할 것으로 예상되며, 상거래 조항에 따른 주장은 전국적인 서비스에 대한 법률의 역외 적용 효과를 목표로 할 수 있다.

이러한 도전에도 불구하고, 법원들은 엄격하게 제한된 청소년 안전 조치를 지지하려는 의지를 점점 더 보여주고 있으며, 이는 SB 243의 핵심 요소(특히 위기 프로토콜 및 미성년자 특정 콘텐츠 제한)가 공개 요구사항이 수정될지라도 사법 심사를 통과할 수 있음을 시사한다.

기업 리더와 투자자들에게 핵심 통찰력은 동반자 AI 안전이 자발적인 기업 책임에서 의무적인 규정 준수 요건으로 전환되었다는 점이다. 더 이상 규제가 언제 도입될 것인가가 아니라, 기업이 안전 인프라가 필수적인 비즈니스 인프라가 되는 환경에 얼마나 빨리 적응할 수 있는가의 문제다.

투자 결정은 모든 중요한 위험을 고려하고 자격을 갖춘 재정 고문과 상담해야 합니다. 과거 실적이 미래 결과를 보장하지 않습니다.