스웨덴 영화 <워치 더 스카이즈>가 올 5월 미국 극장 개봉을 앞두고 있습니다. 이 영화가 영어로 제작되었다고 당연히 생각할 관객들은 이 영화가 원래 스웨덴어로 제작되었다는 사실을 알고 깜짝 놀랄 것입니다.

극장에서 즐길 수 있는 영어 버전은 더빙 버전으로, 혁신적인 인공지능 기반 '비주얼 더빙' 기술을 사용해 배우의 입술 움직임을 영어 더빙에 맞춰 변경하고 마치 영어 원어민처럼 보이도록 만들었습니다.

로컬라이제이션에 대한 혁신적인 접근 방식

이 영화의 원래 제목은 UFO Sweden이었지만, 원작 영화의 영어 제목을 따서 '하늘을 보라'라는 다른 이름을 붙였습니다. 영화는 반항적인 10대 소녀 데니스가 실종된 아버지의 미스터리를 밝히기 위해 UFO를 관찰하는 클럽에 가입하면서 벌어지는 이야기를 다룹니다.

이 영화는 원래 스웨덴어로 촬영되었지만, 미국 개봉에서는 오리지널 출연진이 재녹음한 영어 대사가 등장할 예정입니다. 인공지능 회사인 Flawless가 개발한 최첨단 머신러닝 도구인 트루싱크(TrueSync)를 사용하여 배우들의 입술 움직임을 디지털 방식으로 변경하여 영어 오디오와 완벽하게 동기화했습니다.

이 영화의 작가 겸 감독인 빅터 다넬은 비하인드 스토리 인터뷰에서 이 기술이 국제 영화계의 판도를 바꿀 것이라고 말합니다. 그는 이 새로운 AI 기술을 통해 언어의 장벽을 뛰어넘어 전 세계 관객들에게 자신의 작품을 선보일 수 있게 되었다고 설명합니다.

또한 Danell은 2024년 AI가 창작 직업에 미칠 잠재적 영향에 대한 우려를 제기하며 파업에 돌입한 배우 노조인 SAG-AFTRA가 트루싱크의 사용을 전폭적으로 지지하고 있다고 강조했습니다.

많은 영화 제작자와 배우들이 인공지능이 영화 산업을 어떻게 장악할지 회의적이지만, 다넬은 영화는 여전히 근본적으로 배우의 작품이며 여전히 배우가 영화에 대한 모든 창작 통제권을 갖고 있다고 안심시켰습니다.

"여전히 우리 영화이고, 여전히 배우들의 연기이며, 그것이 중요한 부분입니다."

트루싱크는 무엇을 할 수 있나요?

트루싱크는 딥러닝을 사용하여 배우 얼굴의 3D 볼륨 모델을 생성함으로써 연기의 사실성을 손상시키지 않고 더빙된 대사와 일치하도록 정밀하게 조정할 수 있습니다.

2022년 영화 Fall에 처음 도입되어 PG-13 편집을 위해 욕설을 제거하는 데 사용된 이 기술은 이후 강력한 로컬라이제이션 도구로 발전했습니다.

Flawless의 공동 설립자 Scott Mann은 영화 제작자가 TrueSync를 통해 원본 연기를 보존하면서 더 많은 관객에게 다가갈 수 있다고 설명합니다. 이 회사의 또 다른 AI 제품인 딥에디터는 재촬영 없이도 한 장면에서 배우의 연기를 추출하여 다른 장면에 적용할 수 있게 해줍니다.

Flawless는 배급사 XYZ Films와 파트너십을 체결하여 전 세계 시청자에게 TrueSync로 현지화된 더 많은 영화를 선보이고 있습니다. 개봉 예정작으로는 톰 타이커 감독의 더 라이트, 공포 영화 빈센트 머스트 다이, 한국 액션 영화 밀수꾼 등이 있습니다.