인공지능(AI)을 악용한 온라인 여론조작이 사회문제화 되는 가운데 KAIST가 AI로 자동생성 한 댓글을 가려내는 기술을 개발해 화제다.
최근 생성형 AI로 만든 댓글이 기사 맥락에 맞춰 감정과 논조까지 조절하는 수준이다. 이를 악용해 단 시간에 수십만 개의 댓글을 자동생성하면 여론을 조작할 수 있다.
실제 국내 주요 뉴스 플랫폼의 하루평균 댓글 수 20만 개를 기준으로 GPT-4.o API 기준 댓글 1개 생성비용 1원을 적용하면 20만 원으로 여론에 개입할 수 있는 셈이다.
게다가 공개 LLM은 자체 GPU 인프라만 갖추면 사실상 무상으로 댓글을 대량 생성할 수 있다.
AI 댓글작성 여론조작 판독
KAIST 전기및전자공학부 김용대 교수팀이 국가보안기술연구소(이하 국보연)과 공동연구로 한국어 AI 생성 댓글을 탐지하는 'XDAC'를 세계 최초로 개발했다.
그동안 AI 생성글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발되어 한국어의 짧은 댓글에는 적용이 어려웠다.
짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복문자 등 비정형 구어 표현이 많아 기존 탐지모델이 효과적으로 작동하지 않는다.
또 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
실제 사람이 AI 생성 댓글과 사람의 댓글을 구별할 수 있는지 실험한 결과 AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람 작성 댓글도 73%만 정확히 구분했다.
특히 AI 생성 댓글은 오히려 기사맥락 관련성, 문장 유창성, 편향성 인식 등에서 사람이 작성한 댓글보다 더 높은 평가를 받기도 했다.
공동연구팀은 14종의 다양한 LLM 활용과 자연스러움 강화, 세밀한 감정제어, 참조자료를 통한 증강생성 등 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발했다.
이를 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고, 이 중 일부를 벤치마크 데이터셋으로 공개했다.
또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀분석한 결과 AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어 AI는 ‘~것 같다’, ‘~에 대해’ 등 형식적 표현과 접속어 사용률이 높았다.
반면 사람은 ‘ㅋㅋㅋㅋ’와 같은 반복 문자, 감정표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
또 특수문자를 사용할 때 AI는 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면 사람은 ㅋ, ㅠ, ㅜ 등 한국어 자음과 ♡, ★, •과 같은 문화적 특서성이 담긴 특수기호를 사용했다.
특히 줄바꿈, 여러 칸 띄어쓰기 등 서식이 사람 작성 댓글에는 26%가 포함됐지만, AI 생성 댓글은 1%에 불과했다.
반복문자 비율도 사람 댓글이 52%, AI 댓글 12%로 큰 차이가 났다.
XDAC는 이런 차이를 정교하게 반영해 탐지 성능을 높였다.
이를 위해 줄바꿈, 공백 등 서식문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다.
또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계했다.
이런 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰고, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
XDAC는 댓글의 AI 생성 여부뿐 아니라 어떤 LLM이 생성됐는지까지 식별할 수 있어, AI 댓글의 생성 패턴을 분석하고 대규모 조작 활동을 탐지하는 데 활용할 수 있다.
이런 기능은 플랫폼이 의심스러운 계정이나 조직적인 조작 시도를 보다 정밀하게 감시·대응할 수 있도록 지원하고, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장돼 AI 기반 여론조작 대응의 핵심 기술로 자리잡을 전망이다.
고우영 국보연 선임연구원은 "정밀한 AI 탐지 기술의 존재만으로도 온라인 여론 조작을 위한 AI 악용 시도를 억제하는 심리적 억제 장치로 작용할 수 있을 것“이라고 밝혔다.
한편, 이번 연구는 내달 27일 열리는 인공지능 자연어처리 분야 최고 권위 학술대회 'ACL 2025' 메인 콘퍼런스에 채택됐다.
(논문명 : XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean /https://github.com/airobotlab/XDAC/blob/main/paper/250611_XDAC_ACL2025_camera_ready.pdf)
