딥페이크(Deepfake) 성착취물 제작 사건이 큰 파장을 일으키면서 플랫폼 책임 강화가 필요하다는 주장이 제시되고 있다. 딥페이크 제작을 막는 데에는 픽셀 단위에서 이미지와 동영상에 변형을 가해 인공지능(AI)을 교란하는 워터마크 삽입 기술(독풀기) 등이 있지만 현실적 한계가 크다는 이유다.

2일 IT업계 관계자들에 따르면 딥페이크 성착취물 제작을 막기 위한 해결책으로 AI 교란 기술이 주목 받고 있지만 일반인의 활용이 어렵고 한계가 있는 것으로 드러났다.

AI 교란 기술은 ▲워터마크 삽입 기법 ▲독풀기(Poisoning Attacks) 등으로 나뉜다. 워터마크 삽입 기법은 이미지나 데이터에 보이지 않는 표식을 추가해 AI가 이를 잘못 인식하거나 오작동하도록 유도하는 방법이다. 저작권물의 무단 학습을 막거나 AI 생성물이라는 사실을 표기하기 위해 고안 됐다. 독풀기는 워터마크 삽입 기법과 달리 이미지에 특화한 AI 교란 기술로, 올해 1월 시카고 대학교 연구팀이 발표한 나이트쉐이드(Nightshade) 이후 큰 관심을 받고 있다. 이미지에 픽셀 단위의 변형을 가해 AI의 이미지 인식을 막는 것으로, 나이트쉐이드를 이용해 변형한 이미지를 AI에 입력하면 소 그림을 쥐 그림으로 인식하는 등 문제를 일으킨다.

문제는 이들 기법을 일반인이 현실적으로 이용하기 어렵다는 점과 기술 발전에 따른 무력화 가능성이 있다는 점이다.

현재 무료 기술로 공개 된 유일한 '독풀기' 소프트웨어인 나이트쉐이드는 2.48GB(기가바이트)에 달하는 것은 물론 윈도우와 맥 OS에서 제한적인 GPU 조건 내에서만 구동한다. 딥페이크 성착취물 제작이 일반적으로 개인이 간단히 모바일 기기로 촬영해 SNS에 올린 사진들로 이뤄졌다는 점을 고려할 때, 현실적인 활용도가 극히 떨어진다.

콘텐츠 AI 솔루션 기업 포바이포 관계자는 "나이트쉐이트 모델의 원리가 원본 데이터를 대척점에 있는 이미지가 연상되도록 전혀 다른 이미지로 오염시킨다는 데 있는데, 이는 독풀기에 패턴이 생길 수밖에 없다는 이야기"라며 "오염 과정 데이터가 쌓이면 이를 반대로 돌려 놓는 패턴도 금세 찾을 수 있을 것"이라고 설명했다.

독풀기가 현실적 어려움이 있다는 점에서 제시되는 방안은 플랫폼의 AI 모니터링 강화를 의무화 하는 등 책임 강화다.

이번 집단적 딥페이크 성착취물 제작 사건은 웹사이트나 딥웹이 아닌 SNS 메신저 텔레그램을 통해 발생했다. 텔레그램은 강력한 보안성과 각국 정부와 타협하지 않는 이용자 보호, 전면 무료 서비스 제공을 장담하며 출발한 SNS 메신저로, 이러한 점이 결국 딥페이크 제작 범죄가 이뤄지는 모태가 됐다. 텔레그램 측은 지난달 CEO 파벨 두로프가 프랑스 쩡부에 검거 된 후 "아동 성착취물 등 범죄 모니터링을 강화 중"이며 "EU의 법률을 준수한다"고 밝히기도 했지만 실질적인 모니터링 효과는 없었다는 평가다.

반면 국내 메신저 프로그램인 카카오톡 등은 강력한 AI 모니터링을 통해 허위조작정보 및 불법 콘텐츠 유통을 막고 있다. 카카오는 지난 1월 딥페이크 관련 검색어를 청소년 보호 검색어로 지정한 데 이어 오픈채팅, 다음을 비롯 카카오 내 공개 게시판 서비스에 딥페이크 유통을 감시하는 모니터링을 진행하고 있다. 특히 카카오톡은 허위영상물 배포 및 제공 행위에 대해서는 카카오톡 전체 서비스 영구 제한이라는 강력한 제재까지 하고 있다.

해외에서도 플랫폼에 책임소지를 강화하는 내용의 법안이 발의되기도 했다. 2일 외신 보도에 따르면 미 캘리포니아 주 하원 의회는 AI 안전 대책 법안 투표를 완료해 오는 9월 말 주지사의 승인을 기다리고 있다. 해당 법안은 미성년자 딥페이크 성착취물을 성범죄로 규정하고, 플랫폼에 딥페이크 모니터링과 삭제를 명령할 수 있는 내용을 골자로 한다. 또 딥페이크 AI 기술을 제공하는 회사는 이용자에게 AI 탐지 프로그램을 함께 제공하도록 했다.

생성형 AI 및 딥페이크 탐지 전문 기업인 딥브레인AI 또한 플랫폼의 책임에 대해 강조했다. 장세영 딥브레인AI 대표는 "AI 기술을 악용한 딥페이크 범죄가 기승을 부리는 가운데, 관련 피해 확산을 최소화하고자 진위 여부 판별이 필요한 기업과 관공서 등을 대상으로 자사의 딥페이크 탐지 솔루션을 무료로 지원할 예정"이라고 덧붙였다.