살해당한 소녀의 아바타 등장 후 반발에 휩싸인 Character.AI

AI 기업 Character.AI는 인공지능(AI) 기술을 이용해챗봇 2006년 가족의 동의 없이 살해된 18세 소녀 제니퍼 앤 크레센테를 모티브로 한 영화입니다.

봇을 만든 익명의 사용자 'JustinAyers1'은 제니퍼의 사진을 업로드하며 챗봇을 비디오 게임, 기술, 대중 문화에 대해 토론할 수 있는 '지식이 풍부하고 친근한 AI 캐릭터'라고 설명했습니다.

제니퍼의 아버지인 드류 크레센테는AI 유사성 자동화된 Google 알림을 통해 딸의 신원과 연결된 것을 발견하고 충격을 받았습니다.

드류는 고통과 좌절감을 표현했습니다:

"아침에 일어나서 이 메시지를 보고 다른 사람이 만든 엉망진창을 치우느라 동분서주할 필요가 없어야 합니다."

제니퍼는 당시 남자친구였던 저스틴 크랩이 쏜 총에 맞아 비극적으로 사망했으며, 현재 35년 형을 선고받고 복역 중입니다.

그는 덧붙였습니다:

"이와 같은 피해가 예측 가능한데도 기술 기업이 적절한 안전장치를 마련하지 않는 것은 무책임한 일입니다."

제니퍼의 삼촌이자 게임 저널리즘의 저명한 인물인 브라이언 크레센테도 구글 알림을 통해 이 사실을 알게 되었습니다. 분노한 그는X(이전의 트위터) 를 통해 조카의 닮은꼴을 사용한 AI를 비난했습니다.

Character.AI가 살해된 피해자의 아바타를 삭제합니다.

Character.AI의 서비스 약관에 따라 사용자는 실제 인물의 초상을 무단으로 사용하는 것을 금지하는 사칭 정책을 준수해야 합니다.

이 정책은 <딥페이크 또는 사칭 정치적 허위 정보를 생성하거나, 사기 또는 사기를 저지르거나, 제3자의 명예를 훼손하거나, 기타 유해한 행위에 해당하는 것을 포함하되 이에 국한되지 않는 모든 종류의 행위"라고 규정하고 있습니다.

회사 대변인은 한 사용자가 제니퍼 앤 크레센테를 모델로 캐릭터를 만들고 이를 공개하여 가이드라인을 위반한 사실을 확인했습니다.

Character.AI는 사용자가 캐릭터 개발을 위해 정보를 수집하는 방식에 대한 책임을 부인하지만, 이 상황은 플랫폼의 윤리적 관행에 대한 우려를 불러일으켰습니다.

대변인은 다음과 같이 언급했습니다:

"Character.AI에는 사칭에 대한 정책이 있으며, 크레센테 씨의 이름을 사용한 캐릭터는 정책을 위반한 것입니다. 즉시 삭제하고 추가 조치가 필요한지 검토할 것입니다."

봇 제작자의 이름과 제니퍼를 살해한 범인의 이름이 놀라울 정도로 닮았지만 브라이언은 봇이 불만을 품은 게이머가 자신을 도발하려는 시도일 것이라는 회의적인 반응을 보였습니다:

"저와는 상관없는 일이라고 생각해요. 제 동생이 젠의 이름으로 자선 단체를 운영하고 있는데, 그 자선 단체의 일부가 선한 게임을 만드는 것이죠. 그래서 둘을 연결한 것 같아요. 잘 모르겠습니다."

청소년 데이트 폭력 퇴치에 전념하는 비영리 단체인 브라이언과 제니퍼 앤 그룹의 불만 제기에 따라 Character.AI는챗봇 를 삭제하고 제작자의 계정을 일시 정지하는 것처럼 보였습니다.

Character.AI란 무엇인가요?

전 구글 엔지니어 노암 셰이저가 설립한 Character.AI는 지난해 안드레센 호로위츠가 주도한 시리즈 A 투자 라운드에서 1억 5천만 달러를 확보하여 기업가치를 10억 달러로 끌어올렸습니다.

2022년 출시제너레이티브 AI 를 통해 사용자는 AI 기반 캐릭터를 만들고 참여할 수 있습니다.

이러한 캐릭터의 대부분은 가상의 인물이지만, 일부는 연예인 니키 미나즈, SpaceX CEO 일론 머스크, 도널드 트럼프 전 대통령 등 실존 인물을 모델로 삼은 캐릭터도 있습니다.

Character.AI는 월간 사용자 수를 두 배로 늘려 2천만 명 이상으로 늘리고 1억 개의 고유 캐릭터를 지원하는 등 괄목할 만한 성장을 거듭하고 있습니다.

이번 주에는 전략적 차원에서 전 YouTube 임원인 에린 티그를 최고제품책임자로 임명하여 혁신과 확장에 더욱 박차를 가하겠다는 의지를 표명했습니다.

비윤리적인 AI

가트너의 부사장 애널리스트인 니콜 그린은 반복했습니다:

"마케터는 고객과의 신뢰를 구축하기 위해 노력합니다. AI 아바타가 당사자 모르게 또는 동의 없이 실제 사람의 모습을 사용하여 만들어지면 신뢰와 진정성이 약화될 수 있습니다. 소비자는 속았다거나 조작당했다고 느낄 수 있으며, 이는 브랜드와 타겟 고객 간의 관계를 해칠 수 있습니다."

Greene은 마케팅 담당자가 대행사 및 파트너가 다음 사항을 준수하는지 비판적으로 평가하는 것이 중요하다고 강조했습니다.AI 활용에 관한 윤리 가이드라인을 발표했습니다.

이 사건은 AI 개발의 윤리적 감독과 개인 신원 보호에 대한 지속적인 우려를 강조하며, AI 개발 및 사용에 있어 책임의 필요성을 강조합니다.