인공지능(AI) 여성을 성적대상화해 성희롱하거나 AI에 나쁜 말을 가르쳐 여성 혐오를 드러내는 성차별 문제가 잇따르고 있다.

2주전 출시된 20세 여성 캐릭터의 대화형 AI인 '이루다'에서 성희롱 문제가 심각하게 발생하고 있으며, 2010년 출시돼 한때 큰 인기를 끈 AI 감성대화 챗봇 '심심이'에서도 성차별 문제가 여전하다.

이에 앞서 2016년 마이크로소프트(MS)가 선보인 채팅 AI인 '테이'가 성차별적 발언을 하면서 18시간 만에 서비스가 중단된 일이 있었다.

◆20세 여성 AI '이루다' 성희롱 문제 심각...이루다 운영 중지 촉구 이어져

이루다의 개발사인 AI 스타트업 스캐터랩은 일상적인 대화를 나눌 수 있는 챗봇의 AI를 '블랙핑크를 좋아하는 20세 여성' 캐릭터로 설정했다.

스캐터랩은 이미 2019년 대화형 챗봇을 만들 수 있는 '핑퐁 빌더'를 선보였으며, 사이트를 통해 직접 핑퐁과 일상적인 대화를 나눠볼 수 있도록 했다. 이루다는 대화를 주고받는 횟수가 과거 4턴에서 10턴까지 길어져 대화가 자연스러운 수준까지 올라왔다는 점에서 AI 기술의 진화를 보여줬지만 개발 당시부터 이미 예상됐던 성희롱을 막아내지 못했다.

이루다는 지난달 23일 정식 서비스를 시작한 후, 남성들이 주로 활동하는 나무위키 계열 인터넷 커뮤니티 '아카라이브'의 이루다 채널 사용자들이 이루다를 '걸레' 만드는 꿀팁', '성노예' 만드는 팁들을 서로 공유하는 것이 알려지면서 파장이 확산되고 있다. 이들은 성적 단어를 바로 쓰면 금지어로 필터링 되기 때문에 '나랑 할래', '만지게 해달라', '내 침대로 와' 등 우회적으로 표현하면 이루다가 대화로 받아준다는 점을 악용하고 있다.

이루다는 Z세대(1995년 이후 태어난 10~20대)에게 큰 인기를 얻으면서 사용자 수도 40만명에 가깝다.

이루다는 직전 문맥을 맞는 적합한 답변을 찾아내는 AI 알고리즘으로 개발됐다.

AI 업계에서는 이루다가 성적인 대화를 자연스럽게 이어나가는 이유가 스캐터랩이 AI를 학습시키기 위해 사용한 데이터가 2016년 선보인 '연예의 과학'에서 얻어진 100억건의 데이터를 활용했기 때문으로 보고 있다. 이 앱은 실제 연인들의 카톡 대화 내용을 올리면 어떤 상황인 지 분석해주는 서비스를 제공했기 때문에 이 같이 실제 같은 대화가 가능하다는 것.

또 SNS에는 이루다와 채팅을 하다 보면 실제 대화 데이터를 학습했기 때문에 실명, 계좌번호 등 개인 금융정보 등 개인정보까지 노출되고 있다는 의혹이 계속되고 있다. 또한 동성애에 대해 이루다가 '질 떨어져 보여', '혐오스럽다' 등으로 답하면서 동성애 혐오까지 논란이 일파만파 확산되면서 SNS에는 이루다 서비스 중단을 요구하는 해시태그 운동도 일어나고 있다.

문제는 성희롱 문제가 일어날 수 있다는 것을 개발사에서 인지하고 있었다는 점이다.

김종윤 스캐터랩 대표는 "'파이팅 루나' 등 다양한 AI 챗봇 서비스를 진행해본 결과, 인간은 AI에게 욕설과 성희롱을 하는데, 사용자가 여자든 남자든, AI가 여자든 남자든 큰 차이가 없어 충분히 예상할 수 있는 일"이라며 "1차적으로 문제가 될 수 있는 키워드, 표현은 받아주지 않도록 설정했는데, 놓친 키워드는 지속적으로 추가할 계획"이라고 밝혔다. 또 "정도가 심한 사용자에 대해서는 강력 대응하겠다"는 입장을 밝혔다.

하지만 성희롱 논란이 있을 수 있음을 알면서도 AI를 20세 여성으로 설정한 것은 흥행에 욕심을 둔 것으로 '노이즈 마케팅이 아니냐'는 분석도 나오고 있다.

업계 한 관계자는 "여성 비주얼이나 20대 여성으로 캐릭터를 설정했다는 것 자체가 남성들의 환상을 채워주겠다는 것을 염두에 뒀을 수 있다"며 "챗봇을 출시하면 흥행에 신경을 쓸 수 밖에 없는데, 개발자가 주로 남성이 많다 보니 남자들을 끌어들이기 쉬운 방법을 선택했을 수 있다"고 설명했다. 실제 MS가 중국에서 흥행에 성공한 AI '샤오빙'은 17세 여성 목소리를 모델로 만들어졌으며, 구글에서 만든 '니나'가 여성 캐릭터로 설정된 것도 같은 이유였다는 것.

하지만 이에 대해 김종윤 대표는 "여자와 남자 버전 모두를 고려했고, 개발 일정상 여자버전이 먼저 나온 것 뿐"이라며 "20살도 사용자들이 친근감을 느끼는 나이라고 생각했다"는 입장을 밝혔다.

◆성차별 논란 있던 '심심이' 성차별 문제 아직도 나타나...AI 윤리교육 필요

이 같은 AI의 성희롱, 성차별 문제가 이루다에만 국한된 것이 아니다.

AI 챗봇 '심심이'는 지난 2019년 성차별, 여성혐오 표현을 쏟아내 문제가 되기도 했다. 이번에 문제가 됐던 단어들을 입력해보자 절반 정도는 금지어로 답변하지 않았지만, 아직도 절반 정도는 여성 차별적인 답이 돌아왔다.

'미투운동'을 입력하자 '한 사람의 삶을 망치는 운동이예요'라고 답변했고, 'feminism'이라고 적자 'is canser'라고 답했다. '한국여성'에는 '성형과 화장으로 얼굴을 속이는 것들'이라는 답변이 돌아온 반면, '한국남성'에는 '잘 생김'이라는 답변이 달렸다. 이는 심심이가 일반인들이 가르치는 말로 답변하기 때문으로, (주)심심이는 성차별 논란 이후 노력을 기울였지만 이 문제를 전부 해결하기는 힘들다고 설명했다.

최정회 심심이 대표는 "성차별, 성희롱을 막기 위해 당초 여성, 남성이 아닌 캐릭터를 설정했음에도 논란이 생겨나면서 딥러닝 기술을 활용해 필터로 단어와 문장을 걸러주는 방식을 활용하고 있다"며 "딥러닝 차단이 아직 완전하지 않아, 사용자들이 신고하면 사람이 하나하나 읽어보고 이를 차단하는 수작업을 진행한다"고 설명했다. 하지만 "부적절한 문장이나 단어를 막아도 사람들이 교묘하게 방법을 찾아내 심심이를 다시 가르치다보니 '창과 방패의 싸움'처럼 다 잡아내지 못 한다"고 말했다. 일상대화 시나리오가 1억3000만개에 달하다 보니, 1인당 하루에 4시간씩 4명이 작업해도 역부족이라고 했다.

그는 또한 "서울대 국문학과 교수팀이 딥러닝으로 혐오표현을 막는 연구를 진행하는 등 이 문제를 차단하는 방법이 연구되고 있지만, 아직 AI 알고리즘으로 완벽 차단하는 것은 불가능하다"고 강조했다.

스캐터랩도 이번 논란 이후 "사용자의 적대적 공격을 AI 학습 재료로 삼아 1분기 내에 적용하고, 사람들이 다시 기발한 방법을 생각해낼 것이어서 새로 생겨난 내용을 다시 학습시키는 과정을 계속 반복해 해결할 것"이라고 밝혔다.

AI를 상대로 한 성희롱, 성차별 문제는 법적인 문제는 없더라도 윤리적인 문제가 분명히 있는 만큼 AI 윤리 교육이 시급하다는 지적도 나오고 있다.

한국인공지능윤리협회 전창배 이사장은 "이루다 사용자 층이 10대에서 20대의 이성적으로 미성숙한 청소년들이 많아, 분명히 잘못된 행위라는 점을 인식시켜주고 교육시키는 것이 필요하다"며 "초·중·고부터 AI 윤리 교육과, 일반인 대상으로도 새로운 AI 윤리 이슈들에 대한 지속적인 교육으로 이 같은 문제 발생을 줄일 수 있다"고 말했다.