- 유사한 형태로 단어가 변경 되더라도 광고성 뉴스로 판별할 수 있어

KB증권은 마블 랜드 트라이브(M-able Land Tribe)에서 자체 개발한 머신 러닝 기법의 광고성 뉴스 필터링 시스템을 홈페이지와 홈트레이딩시스템(HTS) 'H-able(헤이블)', 모바일앱(MTS) 'M-able(마블)'에 적용했다고 15일 밝혔다.

KB증권 관계자는 "넘쳐나는 광고성 뉴스로 인해 필요 정보 선별에 시간이 많이 걸렸던 고객들의 불편함을 개선하기 위해 준비됐다"면서 "시범 테스트에서 약 97%의 정확도로 광고성 뉴스를 필터링했다"고 설명했따.

지금까지의 광고성 뉴스 필터링 기법은 특정 단어 몇 개 만으로 광고성 뉴스를 판별하도록 설계돼 재 생성된 광고성 뉴스를 탐지해내지 못하는 한계가 있었다.

KB증권의 시스템은 광고성 뉴스의 일부 단어가 유사한 형태로 변경되더라도 광고성 뉴스로 판별할 수 있다는 장점을 갖고 있다. 일 평균 8000여건 정도 되는 과거 6개월 간의 뉴스 기사를 머신러닝을 통해 학습시킨 결과다.

이번 개발에서는 뉴스 본문을 구성하는 전체 단어들의 조합을 계산하고 그 구성이 학습과정을 통하여 습득된 광고 뉴스의 단어 분포와 유사함을 보일 때 광고 뉴스로 판별하는 것이 주요 알고리즘이다.

또 기술 확장 차원에서 학습 데이터 관리는 아마존 클라우드 서비스를 활용하고 향후 효율적인 정보기술(IT)서비스 운영을 위해 상호 의존성 없이 교체 가능하고 기능별로 분리된 마이크로 서비스 아키텍처 기술을 접목시켰다.