선거가 코앞으로 다가오면서 생성형 인공지능(AI)이 공정한 선거를 방해하는 골칫덩이로 떠올랐다. AI 툴을 이용하면 누구나 간단히 특정인의 딥페이크(Deepfake) 영상을 만들 수 있을 뿐 아니라 플랫폼을 이용해 선거를 방해하기 위한 가짜뉴스를 퍼뜨릴 수 있기 때문이다. 정부의 엄정대응 선언 후 실제 사례가 적발되기도 했지만 현재 기술 수준에서는 생성형 AI의 확산을 막기 어려워 더욱 문제가 심각한 상황이다. 여기에 네이버와 다음 양대 포털의 대처 마저 다소 소극적이라는 비판도 제기되고 있다.

1일 경찰청이 기자 간담회를 통해 알린 바에 따르면 1일 오전 기준 892명을 선거법 위반으로 수사 중이며 총 638건, 1044명이 단속됐다. 딥페이크 관련 사례도 등장해 1일 현재까지 조치까지 완료된 건은 딥페이크를 온라인에 게재한 게시자에 대한 경고 1건과 준수 촉구 1건, 삭제요청이 207건이었다. 현재 수사 중인 사례 중 딥페이크를 이용한 것으로 의심되는 바가 다수 존재하는 만큼 딥페이크 관련 선거법 위반 사례는 계속 늘어날 전망이다.

생성형 AI가 급속도로 발전하면서 SNS와 생성형 AI를 이용한 선거법 위반사례가 전세계적으로 크게 늘고 있다. 한국 정부는 지난해 12월 선제적으로 공직선거법에 딥페이크 등을 이용한 행위에 대한 단속 및 처벌을 위한 법적 근거를 마련했고, 윤석열 대통령은 무관용 원칙에 따른 단속을 당부하며 AI 관련 위반 사안에 대해서도 "AI와 디지털 기술을 활용한 가짜뉴스와 허위정보가 유권자들의 눈과 귀를 가리지 못하도록 철저히 대응해야 할 것"이라고 별도로 언급했다. 반면 정부의 다짐과 달리 딥페이크 관련한 가짜뉴스 유포를 원천적으로 차단할 방안은 사실상 없다시피 한 수준이다. 국내 양대 포털인 네이버와 카카오는 별도로 딥페이크와 가짜뉴스 확산 방지를 위한 조치를 단행했으나 실효성이 의심된다.

네이버는 지난달 28일 생성형 AI서비스인 클로바X와 CUE:(큐:), 딥페이크 관련 결과 화면에 딥페이크 기술 활용에 대한 주의를 당부하는 안내 문구를 삽입했다. 뉴스페이지에서는 선거 관련 허위 정보 댓글을 신고할 수 있도록 했다.

카카오는 자체 선거서비스 페이지를 개설하고 인터넷선거보도심의위원회의 불공성 선거보도 경고·주의를 받은 기사를 모은 페이지도 선거특집 페이지에 제공할 예정이다. 더불어 유해콘텐츠 필터링 기술 연구도 고도화 중이다. AI로 카카오톡 등에서 유해 이미지를 차단하는 기술을 딥페이크 검출 방향으로 새롭게 연구 중이며 AI 어뷰징 관련 기술적 대응 팀도 만들었다. 카카오톡 채널인 '칼로 AI 프로필' 기능에 비가시성 워터마크를 먼저 도입해 딥페이크 여부를 체크할수 있도록 했고 이미지 생성 웹 기반 전문가 툴인 '칼로 AI(Karlo.ai)'에도 도입했다.

세계 각국에서 AI를 직접적으로 지목해 선거의 공정성 훼손을 우려하는 데에는 고도로 발달한 AI 딥페이크 및 챗봇 기술이 실제와 구분이 불가능해진 데다 SNS의 발달로 시공간을 뛰어넘는 폭발적인 확산까지 가능해진 배경이 있다. 힐러리 클린턴 전 국무장관은 지난 28일(현지시간) 토론회에서 선거에 가장 큰 위협이 되는 요소로 AI를 지목했다. 그는 "2016년 대선 당시 푸틴이 SNS에 나에 대한 가짜뉴스를 도배한 사건은 아주 원시적인 방법이었지만 현재는 비약적으로 발전한 AI가 거의 모든 사람을 속일 수 있게 돼 실제 선거 결과에 영향을 미칠 수 있다"고 말했다.

전문가들은 포털의 조치들이 실제 효과를 얼마나 낼지에 대해 부정적인 시각을 내비친다.

딥페이크 영상 또는 사진, 음성이 SNS를 통해 확산했을 때 비가시성 워터마크를 삽입하면 모니터링 AI가 이를 삭제할 수 있다고 하지만 현재 비가시성 워터마크를 삽입하는 생성형 AI는 극소수다. 더불어 화면상 보이는 콘텐츠 자체에는 어떠한 표식도 나타나지 않기 때문에 유권자들이 혼동할 수 있다는 것이다.

IT 업계 관계자는 "생성형 AI 붐이 일고 처음 치러지는 선거에 챗GPT를 개발한 미국 조차 해결책을 찾는 중"이라며 "가장 많은 이용자를 확보한 포털이 단순히 경고문구를 표기하는 것으로 선거의 공정성을 지키기 위한 조치를 했다고 한다면 너무 황당하다"고 밝혔다.