XDAC

Abstract

Large language models (LLMs) generate human-like text, raising concerns about their misuse in creating deceptive content. Detecting LLM-generated comments (LGC) in online news is essential for preserving online discourse integrity and preventing opinion manipulation. However, effective detection faces two key challenges; the brevity and informality of news comments limit traditional methods, and the absence of a publicly available LGC dataset hinders model training, especially for languages other than English. To address these challenges, we propose a twofold approach. First, we develop an LGC generation framework to construct a high-quality dataset with diverse and complex examples. Second, we introduce XDAC (XAI-Driven Detection and Attribution of LLM-Generated Comments), a framework utilizing explainable AI, designed for the detection and attribution of short-form LGC in Korean news articles. XDAC leverages XAI to uncover distinguishing linguistic patterns at both token and character levels. We present the first large-scale benchmark dataset, comprising 1.3M human-written comments from Korean news platforms and 1M LLM-generated comments from 14 distinct models. XDAC outperforms existing methods, achieving a 98.5% F1 score in LGC detection with a relative improvement of 68.1%, and an 84.3% F1 score in attribution.

🌟Overview

AI가 여론 조작? KAIST∙국보연, AI가 쓴 가짜 뉴스 댓글 탐지 기술 최초 개발

● AI 생성 댓글, 짧고 구어체로 작성되어 기존 탐지 기술로는 어려워

● AI 생성 댓글 98.5% 탐지하고, 어떤 AI가 썼는지 84.3%까지 식별

● ACL 2025에 논문 채택… “AI 여론 조작 대응 위한 핵심 기술 개발”

🏗️ LGC Generation Framework: 사람이 식별하기 어려운 고품질 AI 생성 댓글 데이터를 구축하기 위해 개발한 프레임워크.

🔍 AI생성댓글과 사람작성댓글 말투 분석: 한국어 뉴스 기사의 짧은 형식 사람작성댓글 탐지 및 속성 분석을 위해 토큰 및 문자 수준에서 구별되는 언어적 패턴을 발견하기 위해 설명 가능한 AI(XAI)를 활용한 체계적인 분석을 수행.

🚀 XDAC 개발: XAI 기반 탐지 및 속성 분석 프레임워크인 XDAC를 개발하여 AI생성댓글 탐지에서 98.5% F1 점수(기존 연구 대비 68.1% 상대적 개선)와 속성 분석에서 84.3% F1 점수를 달성.

🌪 문제 제기

🏗️ 여론조작, 대량 생산 시대 진입… AI 댓글 공장의 위협 : AI를 활용한 여론조작은 이미 현실이 되었다. 생성형 AI는 몇 시간 안에 수십만 개의 댓글을 자동으로 만들어낼 수 있다. OpenAI GPT-4o API를 기준으로 하면 댓글 1개 생성 비용은 약 1원 수준이며, Google의 Gemma, Alibaba의 Qwen, LG AI의 EXAONE과 같은 공개된 LLM은 자체 GPU 인프라만 갖추면 사실상 무상으로도 대량 댓글 생성이 가능하다. 국내 주요 뉴스 플랫폼에서 하루 평균 사용자들이 작성하는 댓글은 약 20만 개 수준인데, 생성형 AI를 활용하면 20만 원의 비용으로 이와 유사한 규모의 댓글을 자동 생성해 여론조작에 악용할 수 있다. 짧고 구어체로 구성된 댓글은 뉴스 기사 맥락에 맞게 감정·논조까지 조절 가능하며, 생성 속도도 빠르다. 저렴하고 빠르며 대량 생산 가능한 AI 생성 댓글, 이제는 여론을 흔들 수 있는 현실적인 위협이 되었다.

🏗️ 기존 AI 탐지 기술, 짧고 구어체인 한국어 댓글엔 '무용지물' : 기존 AI 생성글 탐지 연구들은 대부분 영어 기반의 장문 텍스트를 대상으로 개발됐다. 논문이나 뉴스처럼 정형화된 구조의 글에 초점을 맞춘 모델이 많고, 대표적인 탐지 도구인 GPTZero 역시 최소 250자 이상의 입력을 요구한다. 이는 대부분의 탐지 모델이 문장 길이에 따라 누적되는 단어 분포의 통계적 특성을 활용해 AI 특유의 표현 패턴을 구별하기 때문이다. 문장이 길수록 통계적 특징이 뚜렷해지고, 이에 따라 탐지 정확도도 높아지는 구조다. 하지만 한국어 뉴스 댓글은 영어가 아니고, 평균 51자 내외로 매우 짧다. 이처럼 짧은 텍스트는 단어 수가 적어 통계적 분석이 충분히 이뤄지기 어렵고, 탐지 정확도가 떨어질 수밖에 없다. 특히 이모지, 비속어, 반복 문자 등 비정형 구어 표현은 기존 탐지 모델이 학습한 텍스트 패턴과 상이해, 효과적인 탐지가 어렵다. 또한, 이러한 탐지 모델 학습에 활용할 만한 현실적인 한국어 AI 생성 댓글 데이터셋도 전무한 상황이다.

🛠 AI 댓글 생성 프레임워크

AI 댓글 생성 프레임워크 : 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다. 연구팀은 ▲14종의 다양한 LLM 활용 ▲자연스러움 강화 ▲세밀한 감정 제어 ▲참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발해, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 이 중 일부를 벤치마크 데이터셋으로 공개했다.

AI 댓글 사람평가: "사람이 썼다고 믿었다"… AI 생성 댓글, 평가자 절반 이상이 오판 : 연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 즉, 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.

🧠 XAI분석: AI 생성 댓글 vs 사람 작성 댓글

설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석 : AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다. 예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현과 높은 접속어 사용률을 보였고, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다. LGC는 AI 생성 댓글을, HWC는 사람 작성 댓글을 뜻한다.

특수문자 : AI는 전 세계적으로 통용되는 표준화된 이모지(🤔, 😊, 💪, 😠)를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.

서식 문자(줄바꿈, 여러 칸 띄어쓰기 등) : 사람 작성 댓글의 26%는 이런 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. 반복 문자(예: ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.

🎯 XDAC: 단순 탐지를 넘어 생성 AI 식별까지… 98.5% 정밀 탐지 달성

XDAC 방법론 : 연구진이 개발한 탐지 프레임워크 ‘XDAC’는 단순히 AI 생성 여부만을 판별하는 데 그치지 않고, 어떤 LLM이 해당 댓글을 생성했는지까지 식별할 수 있는 기능을 갖췄다. 이를 위해 다음 세 가지 방식을 모델에 적용했다:

● 서식 문자 처리: 줄바꿈, 공백 등의 서식 문자를 변환해 사람의 댓글 작성 습관을 학습 가능하게 함

● 반복 패턴 변환: "ㅋㅋㅋㅋㅋ" → " ㅋ 5 "로 반복 문자와 횟수를 정확히 반영 (같은 글자가 몇 번 반복됐는지 알려주는 표시 방식)하여 사람은 글자 반복을 많이 쓰고 AI는 적게 쓰는 말투 차이를 반영

● 사람 작성 댓글/AI 생성 댓글의 말투 반영: XAI 분석을 통해 LLM마다 다른 말투 특징을 찾아내고, 이를 특별한 표시(특정 말투를 나타내는 기호)로 알려줘서 모델이 AI 생성 댓글의 말투를 잘 알아보도록 도와줌

XDAC 성능평가 : 이러한 최적화를 통해 XDAC는 AI 생성 댓글 탐지에서 98.5% F1(정확도와 재현율을 함께 고려한 종합적인 성능 지표) 점수를 기록해 기존 방법 대비 68% 상대적 향상을 달성했고, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 보이며 높은 성능을 입증했다.

XDAC 결과 예시 : 댓글이 입력됐을 때, XDAC은 1) AI 생성 댓글인지, 사람 작성 댓글인지 분류한다. 2) 분류된 댓글이 AI 생성 댓글일 경우, 어떤 LLM이 생성했는지 식별한다. 본 예시에서는 입력 댓글이 LLM일 확률 100%로 분류했고, Gemini 중 gemini-2.0-flash-exp 모델이 생성했음을 식별했다.

🔚 결론: AI 여론조작 예방 효과… '심리적 억제' 작용 기대

이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 어떤 LLM이 생성했는지까지 식별할 수 있는 기술을 세계 최초로 제시한 것으로, AI 기반 여론 조작에 대응할 수 있는 기술적 기반을 마련했다는 점에서 큰 의의가 있다.

연구팀은 XDAC가 단순한 탐지를 넘어 예방 효과도 기대된다고 설명했다. 마치 모발 마약 정밀 검사, 음주운전 단속, CCTV 설치가 범죄 시도 자체를 감소시키는 것처럼, 정밀한 AI 탐지 기술의 존재만으로도 온라인 여론 조작을 위한 AI 악용 시도를 억제하는 심리적 억제 장치로 작용할 수 있다는 것이다.

특히 XDAC는 댓글의 AI 생성 여부뿐 아니라 어떤 LLM이 생성됐는지까지 식별할 수 있어, AI 생성 댓글의 생성 패턴을 분석하고 대규모 조작 활동을 탐지하는 데 활용할 수 있다. 이러한 기능은 플랫폼이 의심스러운 계정이나 조직적인 조작 시도를 보다 정밀하게 감시·대응할 수 있도록 지원하며, 향후에는 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장되어 AI 기반 여론 조작 대응의 핵심 기술로 자리잡을 수 있다.

또한 연구팀이 공개한 벤치마크 데이터셋과 XDAC 모델은 향후 관련 연구 커뮤니티에 실질적인 기여를 할 수 있을 것으로 기대되며, 생성형 AI 기반의 악의적인 콘텐츠 확산 및 여론 왜곡 대응을 위한 다양한 기술 개발의 출발점이 될 것으로 전망된다.

ACL 2025 main conference

XDAC:XAI-driven framework for detecting and attributing LLM-generated comments in Korean news