유지웅, 황보유정, 손동성, 이경전, 악성 댓글 분류 시스템 모니터링 연구: 네이터 클린봇 분석, 2020 한국지능정보시스템학회 춘계학술대회, 2020.
Abstract
인공지능 기기의 오작동 및 편향성 문제 등 여러 부정적 영향에 대해 우려하는 목소리가 적지 않다. 본 논문에서는 네이버의 악성 댓글 분류기 ‘클린봇’을 분석하여 안정적으로 악성 댓글을 분류하는지 확인한다. 네이버 뉴스에서 댓글과 답글을 포함한 90,541건의 댓글을 수집하였고, 악성 댓글 분류 시스템 모니터링 절차에 따라 분석하여 안정성을 확인하였다.
수집된 댓글 중 클린봇에 의해 차단된 댓글은 총 1802건이다. 하지만 연구원들이 직접 분류한 결과 False Positive는 2864건으로 클린봇이 882건의 악성 댓글을 차단하지 못한 것을 알 수 있었다. 또한 False Negative는 8건이 잘못 차단되었다. 즉, 클린봇은 댓글을 대체로 과소하게 차단한다고 추측할 수 있다. Verification단계에서는 클린봇이 어떤 모델을 사용하고 있는지 추론하였으며, 같은 댓글임에도 불구하고 다른 결과가 나타나는 것을 통해 확정적인 규칙 기반 모델을 사용하지는 않은 것으로 판단하였다. 모델의 안정성을 평가하기 위해 댓글에서 사용된 비속어를 수집하여 비속어 사전을 구축하고, 이를 기반으로 변형된 비속어를 클린봇모델이 안정적으로 차단했는지 확인한 결과 변형된 비속어를 포함하는 악성 댓글의 차단율은 약 26.83%로 나타났다.
You must be logged in to post a comment.