위챗, AI를 이용해 유명인 추천을 위조한 209개 계정 폐쇄

위챗, 사기성 마케팅을 위해 AI가 생성한 유명인 사칭을 단속하다

중국 소셜 미디어 플랫폼인 WeChat은 악의적인 마케팅 관행에 악용되는 AI 생성 유명인 사칭 문제를 해결하기 위해 과감한 조치를 취했습니다.

2024년 12월 15일, 위챗은 공식 계정인 '위챗 코랄 보안'을 통해 소비자 신뢰를 조작하고 사기성 트래픽을 얻기 위해 비윤리적인 AI 기반 마케팅 전술에 연루된 209개의 계정을 폐쇄했다고 발표했습니다.

부적절한 홍보 목적으로 유명인을 사칭하는 데 AI가 사용된 일련의 위반 사례를 신속하게 해결했습니다.

플랫폼은 사용자로부터 여러 차례 신고를 받고 정기적으로 점검을 실시하여 이러한 사기성 활동을 신속하게 식별하고 제거할 수 있었다고 밝혔습니다.

위챗은 성명에서 이렇게 말했습니다:

사용자의 권리를 보호하고 소비자 사기를 방지하기 위해 Facebook은 사기성 마케팅에 AI 기술이 오용되는 것을 막기 위해 단호하게 대처하고 있습니다;

기만적인 관행을 조장하는 AI 기술

특히 상업적 목적으로 유명 인물을 모방하기 위해 AI 기술을 사용하는 것이 주목을 받고 있습니다.

이러한 AI 기반 도구는 유명 인사의 모습을 복제하여 그럴듯한 가짜 동영상과 음성 녹음을 만들어 온라인에서 허위사실을 유포할 수 있습니다.

WeChat의 단속은 사용자들의 여러 신고와 일상적인 모니터링을 통해 이 기술을 악용하는 계정을 식별한 것이 계기가 되었습니다.

위챗은 이러한 사기성 마케팅 활동에 대응하기 위한 광범위한 이니셔티브의 일환으로 현재 532개의 유해한 콘텐츠를 삭제했습니다.

이러한 기만적인 관행을 억제하는 데 계속 집중할 것이라고 밝히며 소비자 보호를 개선하기 위한 플랫폼의 노력은 분명합니다.

증가하는 AI 사칭 사기 트렌드

AI가 생성하는 콘텐츠의 정교함이 높아지면서 조작된 추천을 통해 소비자를 조작할 수 있다는 우려가 제기되고 있습니다.

유명인의 목소리와 이미지가 당사자의 동의 없이 제품 홍보에 사용된 사례 등 이미 유명인 사칭 AI 사례가 드러난 바 있습니다.

홍콩 배우 레이먼드 웡은 자신의 이미지와 목소리가 AI가 생성한 광고에 부정하게 사용된 것을 공개적으로 비난한 사례 중 하나입니다.

웡은 소셜 미디어에 올린 성명에서 이렇게 말했습니다:

"이러한 행위는 명백한 사기입니다. 대중을 오도하고 그로부터 이익을 취하려는 목적이 있습니다."

이러한 상황은 가짜 추천을 통해 신뢰를 조작하여 소비자를 속여 제품을 구매하도록 유도하는 AI 기반 사칭의 위험성을 드러냅니다.

AI를 이용한 사기를 둘러싼 법적, 윤리적 문제

전문가들은 AI 사칭이 개인의 권리를 침해할 수 있다고 경고하고 있습니다.

베이징 징두 로펌의 쉬 웨이 변호사는 AI를 사용하여 동의 없이 상업적 목적으로 누군가의 외모를 변경하는 것은 초상권을 침해하는 것이라고 지적했습니다.

이러한 AI가 만든 추천을 통해 홍보되는 제품이 과장되거나 가격이 과도하게 책정된 경우, 소비자는 이러한 허위 추천을 믿고 구매를 유도할 수 있으므로 사기에 해당할 수도 있습니다.

또한 쉬 회장은 불쾌한 콘텐츠를 만들거나 부적절한 맥락에서 누군가의 얼굴을 올리는 등 악의적으로 AI를 사용할 경우 개인의 인격권이 침해될 수 있다고 지적하며 평판 훼손의 가능성을 강조했습니다.

플랫폼의 책임과 향후 조치

위챗과 같은 플랫폼 제공업체의 역할도 면밀히 검토되고 있습니다.

플랫폼은 사이트에서 호스팅되는 콘텐츠에 대한 책임을 지고, 사용자 혼란을 방지하기 위해 AI가 생성한 동영상에 명확한 라벨을 표시해야 합니다.

이 규정은 서비스 제공업체가 텍스트, 오디오, 이미지, 동영상 등 다양한 형식의 AI 생성 콘텐츠에 시작, 끝 또는 기타 눈에 잘 띄는 부분과 같은 주요 지점에 눈에 띄는 표시를 명확하게 표시하도록 의무화하고 있습니다.

주요 플랫폼에서는 이미 시청자가 실제 미디어와 합성 미디어를 구분할 수 있도록 'AI가 생성한 콘텐츠' 또는 'AI 생성 의심' 등의 고지 사항을 추가하기 시작했습니다.

그러나 플랫폼이 오해의 소지가 있는 콘텐츠를 적절하게 표시하거나 삭제하지 않는 경우, 사기성 자료의 확산을 조장한 책임을 져야 할 수 있습니다.

위챗은 이러한 콘텐츠가 사용자에게 도달하는 것을 방지하기 위한 노력을 강화하여 규제를 더욱 강화할 것이라고 밝혔습니다.

AI 합성 서비스에 대한 규제 강화

최근 중국 당국의 가이드라인에 따르면, 딥페이크 콘텐츠를 생성하는 AI 서비스는 콘텐츠가 혼란을 야기할 수 있는 경우 이를 명확히 표시해야 합니다.

WeChat은 거버넌스를 더욱 강화하여 사용자와 서비스 제공자 모두 AI 기술을 사용하여 생성된 콘텐츠에 대한 책임을 다할 수 있도록 최선을 다하고 있습니다.

사기성 AI 콘텐츠를 식별하고 신고하는 데 도움을 주는 대중의 역할은 안전하고 신뢰할 수 있는 온라인 환경을 유지하는 데 있어서도 매우 중요합니다.

AI 도구의 접근성이 높아지면서 디지털 세상에서 악용과 속임수를 방지해야 할 책임은 플랫폼 제공자와 사용자 모두에게 있습니다.