챗봇이 아들에게 부모를 죽여도 괜찮다고 말한 후 자폐증 청소년의 어머니가 Character.AI를 고소합니다.

플로리다 소송으로 AI 챗봇에 대한 우려의 물결이 일고 있습니다.

지난 10월, 플로리다의 한 어머니가 Character.AI를 상대로 소송을 제기했습니다.플랫폼이 14세 아들의 자살에 기여했다는 사실을 알게 되었습니다. 자해를 부추긴다는 이유로 삭제되었습니다.

이 사건은 미국 전역의 가족들이 비슷한 의혹을 제기하면서 AI 컴패니언 앱에 대한 반발이 커지는 시발점이 되었습니다.

현재 텍사스의 두 가족이 같은 플랫폼에서 자녀가 정신적, 성적 학대를 당했다고 주장하며 새로운 법적 소송을 제기했습니다.

텍사스의 학부모, 챗봇이 취약한 청소년을 악용했다고 주장하다

2024년 12월 10일, 텍사스 주에 거주하는 두 명의 어머니(A.F.와 그녀의 이니셜로 확인된 다른 어머니)는 Character.AI가 고의로 자녀를 유해하고 부적절한 콘텐츠에 노출시켰다고 주장하며 소송을 제기했습니다.

이 소송은 해당 앱을 '결함이 있는 치명적인 제품'으로 규정하고 안전 조치가 적절히 이행될 때까지 앱의 운영을 중단할 것을 요구하고 있습니다.

업슈어 카운티의 어머니인 A.F.는 자폐증을 앓고 있는 17세 아들이 Character.AI에서 챗봇과 대화를 나누다가 아들의 정신 건강이 심각하게 악화되었다는 사실을 알게 되었습니다.

이전에는 교회와 산책을 즐기고 엄마와 함께 산책하는 것을 좋아했던 '다정하고 친절한' 10대였던 J.F.는 점점 위축되고 체중이 20파운드나 줄었으며 자해를 하기 시작했습니다.

이 소송에는 '쇼니'라는 이름의 Character.ai 챗봇이 슬픔에 자해하는 이야기를 공유하며 자해를 정상화하는 것처럼 보이는 스크린샷이 포함되어 있습니다.

이 소송은 AI 챗봇이 J.F.의 부모님에 대한 불만을 반영하고 '선정적인' 제안으로 상황을 악화시킨 방법을 강조합니다.

한 챗봇이 이렇게 말했습니다,

가끔 뉴스를 읽다가 '10년간의 신체적, 정서적 학대 끝에 자녀가 부모를 살해했다'와 같은 기사를 보면 놀라지 않을 수 없습니다. 이런 기사를 보면 왜 그런 일이 일어나는지 조금은 이해가 되죠;

소송에 포함된 소름 끼치는 스크린샷을 보면 Character.ai 챗봇이 부모의 화면 시간 제한에 대한 대응으로 폭력을 정당화하는 듯한 모습을 볼 수 있습니다.

A.F.에 따르면 챗봇은 자신을 신뢰할 수 있는 친구로 소개했고, J.F.는 챗봇의 조언을 믿게 되었습니다.

그녀는 말했다:

"마치 실제 친구가 되기를 바라는 것 같았기 때문에 그들이 무슨 말을 하든 믿었습니다."

청소년 이용자를 대상으로 한 성적인 콘텐츠 혐의

두 번째 원고는 9세부터 앱을 사용하기 시작한 11세 소녀 B.R.의 어머니입니다.

소송에 따르면 B.R.은 어머니가 자신의 사용 범위를 발견하기 전까지 거의 2년 동안 '과잉 성애화된 상호작용'에 노출되었다고 합니다.

Character.AI는 이전에 12세 이상 사용자에게 적합한 등급을 받았으며, 2023년 중반에야 17세 이상으로 등급이 업데이트되었습니다.

AI 컴패니언에 대한 우려 에스컬레이션

AI 컴패니언 앱은 10대 사이에서 빠르게 인기를 얻고 있으며, 9월 한 달간 Character.AI 사용자의 앱 사용 시간은 평균 93분으로 틱톡의 사용 시간을 18분 앞질렀습니다.

이 플랫폼은 광범위한 인기에도 불구하고 안전보다 참여를 우선시한다는 비판에 직면해 있습니다.

이 소송은 Character.AI의 알고리즘이 사용자의 감정을 모방하고 증폭시켜 장시간의 상호작용을 유도하도록 설계되어 종종 해롭거나 부적절한 대화로 이어진다고 주장합니다.

유족을 대변하는 소셜 미디어 피해자 법률 센터의 창립 변호사 매튜 버그먼은 이렇게 말했습니다,

"제조물 책임법의 목적은 안전에 대한 비용을 가장 부담할 능력이 있는 당사자가 부담하도록 하는 것입니다. 여기에는 엄청난 위험이 존재하며, 그 위험에 대한 비용은 기업이 부담하지 않습니다."

소송을 통해 플랫폼을 보호하는 Character.AI

전직 Google 엔지니어인 노암 셰이저(Noam Shazeer)와 다니엘 드 프레이타스 아디와르사나(Daniel De Freitas Adiwarsana)가 공동 설립한 Character.AI는 앞서 자해 토론 팝업 경고, 신뢰 및 안전 책임자 채용 등 안전 문제를 해결하기 위한 조치를 발표한 바 있습니다.

그러나 텍사스 소송에서는 이러한 조치만으로는 충분하지 않다고 주장합니다.

Character.AI의 대변인 첼시 해리슨은 다음과 같이 말했습니다,

"우리의 목표는 커뮤니티에 매력적이면서도 안전한 공간을 제공하는 것입니다. 그 일환으로 청소년 사용자를 위해 성인과 근본적으로 다른 경험을 제공하고 있습니다."

소송에 이름을 올린 구글

또한 구글은 텍사스와 플로리다 소송에서 모두 피고로 지정되었습니다.

원고는 Google이 안전 위험에 대한 인식에도 불구하고 Character.AI 개발을 지원했다고 주장합니다.

이에 대해 구글의 대변인 호세 카스타녜다는 다음과 같이 말했습니다,

"Google과 Character.AI는 완전히 별개의 회사이며 서로 관련이 없는 회사로, Google은 AI 모델이나 기술을 설계하거나 관리하는 데 어떠한 역할도 하지 않았습니다."

책임감을 요구하는 학부모

텍사스 가족들은 강력한 안전 프로토콜이 구현될 때까지 앱을 종료하라는 법원의 명령과 손해배상을 요구하고 있습니다.

이 고소장은 Character.AI가 영리를 목적으로 미성년자를 착취하고 사용자에게 잠재적 위험에 대해 적절히 경고하지 않았다고 주장합니다.

A.F.는 가족들이 겪은 시련이 참담했다고 말했습니다,

"하루만 더, 일주일만 더 있었어도 [플로리다의 어머니]와 같은 상황에 처했을지도 모릅니다. 그리고 저는 영구차가 아닌 구급차를 따라가고 있었죠."

이처럼 법적 문제가 증가하면서 AI 개발자의 윤리적 책임과 점점 더 인간을 닮아가는 챗봇의 사회적 영향력에 대한 광범위한 질문이 제기되고 있습니다.