생성형 인공지능(AI)의 발전이 딥페이크 제작 고도화까지 가져오면서 성착취물 제작 툴도 우후죽순 생겨나고 있다. 텔레그램을 기반으로 한 무료 봇(Bot)부터 유료 웹사이트·애플리케이션까지 딥페이크 제작 툴이 난립하고 있다. 더욱 심각한 것은 원천적인 해결책이 존재하지 않는 데다 관련 툴 제작자를 입건할 방법 도 없다는 데 있다.

27일 <메트로경제> 의 취재에 따르면, 모바일 메신저 서비스 텔레그램을 기반으로 딥페이크 제작 툴들이 무분별하게 확산되고 있다. 무료로 제공되는 봇부터 유료 앱(App)까지 그 종류는 수백 가지에 달한다.

딥페이크란 AI 기술 또는 그래픽 프로그램을 이용해 실제와 매우 흡사하게 제작된 영상이나 이미지를 의미하며, 최근 유명인을 대상으로 한 사기범죄나 성착취물 합성이 심각한 문제를 일으키고 있다.

딥페이크 성착취물을 제작하는 툴이 난립하는 데에는 생성형 AI의 발전이 관련 돼있다. 딥페이크 제작 툴은 간단한 코딩 지식만 있다면 바로 제작이 가능할 만큼 쉽다. 다량의 나체 사진을 AI에 학습 시킨 후 알고리즘에서 얼굴 인식한 후 각도나 방향에 따라 유사한 나체 사진을 합성하도록 하면 된다. 제작이 간단한 만큼 무료로 배포 되는 봇의 수도 수백여 개에 달한다. 제작 도중 개발에 어려움을 겪으면 깃 허브 등에 무료로 공개 된 코드와 챗GPT 등 생성형 AI에게 코드를 부탁 하면 된다. 이렇게 제작 된 딥페이크 제작 툴은 주로 텔레그램의 봇 채널을 통해 무료 공개 되는데, 일부 고도화 한 딥페이크 제작 툴은 유료로 판매되고 있다.

이처럼 일반인도 그래픽 프로그램 지식 없이도 딥페이크 성착취물을 쉽게 제작할 수 있게 되면서 범죄의 규모가 커지고 가해자의 연령대가 점차 낮아지고 있다. 지난 19일, 인천경찰청 사이버범죄수사대는 같은 학교에 다니는 여대생 등을 대상으로 딥페이크 기술을 이용해 성착취물을 제작하고 이를 텔레그램 대화방에서 공유한 사건을 수사 중이라고 밝혔다. 이른바 '겹지인 채널'로 불리는 이러한 딥페이크 성착취물 합성 범죄 단체 채팅방은 대학생뿐만 아니라 중고생과 친족까지도 무차별적으로 범죄의 대상으로 삼고 있다.

문제는 딥페이크 제작에 대한 근본적인 해결책이 없다는 점이다. 국회에서는 김승수 국민의힘 의원이 기술을 이용해 만든 거짓 정보를 온라인에 게재할 때 워터마크(식별표시)를 의무화하는 정보통신망법 개정안을 발의했지만, 통과되지 못했다. 현재 업계에서는 딥페이크 제작물을 구별하는 최선의 방법으로 이미지 생성 단계에서 AI 제작물임을 명시하는 데이터를 삽입하는 워터마크 방식을 제안하고 있다.

그러나 텔레그램과 같이 수사기관에 협조하지 않는 플랫폼을 통한 불법 딥페이크 제작 툴에는 적용되지 않는 이야기다. 그나마 웹사이트 형태의 딥페이크 제작 툴은 방송통신심의위원회를 통해 국내 IP 접속을 차단할 수 있지만 그나마도 이른바 '떴다방' 식 운영으로 규제가 쉽지 않다. 미국의 SW 기업 그래피카(Graphika)에 따르면, 지난해 9월 한 달 동안 2400만 명이 몇 개의 딥페이크 성착취물 합성 웹사이트에 접속했다. 그래피카가 모니터링한 웹사이트 자체는 25일 현재 접속이 차단된 상태지만 같은 이름의 다른 URL로 버젓이 서비스를 제공하고 있다. 해당 웹사이트는 한국 내 IP로도 접속이 가능하다.

다행히 딥페이크 탐지 기술은 계속해서 발전하고 있다. 지난 3월, 딥브레인AI는 경찰청과 협력하여 딥페이크 범죄 단속을 돕는 딥페이크 탐지 솔루션을 공개했다. 경찰청은 이를 활용해 선거범죄, 피싱 범죄, 합성 성 착취물 범죄 등 딥페이크 기반의 지능형 범죄에 적극적으로 대처할 계획이다.

장세영 딥브레인AI 대표는 "신종 딥페이크 범죄에 효과적으로 대응하기 위해 경찰청과 협력하여 딥페이크 탐지 솔루션을 지속적으로 고도화할 것"이라며, "누구나 쉽고 간편하게 허위 사실을 판별할 수 있도록 도와 딥페이크 범죄를 무력화시키는 것이 궁극적인 목표"라고 전했다.

한편, 25일 딥페이크 성착취물 제작의 근거지가 되었던 텔레그램의 최고경영자인 파벨 두로프가 프랑스에서 체포되었다. 프랑스 현지 언론에 따르면, 두로프 텔레그램 CEO는 프랑스 파리 외곽 부르제 공항에서 체포되었으며, 텔레그램을 이용한 돈세탁, 인신매매, 밀수, 아동성착취물 등 관련 범죄에 대한 단속 및 규제 불이행과 수사당국 미협조 등의 혐의를 받고 있다.