arXiv 논문 AI 작성 비율 측정법…한계는 여기까지

AI 요약

arXiv 논문 12,750편을 분석한 결과, 2026년 기준 신규 논문의 약 32%가 AI로 작성된 것으로 감지되었다. 연구진은 0.4%의 낮은 오탐률을 기준으로 삼아 ChatGPT 이전 논문과 이후 논문을 비교했으며, 컴퓨터 과학 분야는 65%로 가장 높은 비율을 기록했다. 그러나 이 측정법은 특정 분야의 높은 오탐률과 같은 한계를 명확히 인정하고 있다.

핵심 포인트

• 2021~2022년(LLM 이전) 논문의 오탐률을 0.4%로 설정해 신뢰성 확보
• 컴퓨터 과학 분야 AI 작성 비율 65%, 양적 생물학 56.3%, 전기공학 51.3% 순
• 초록보다 본문 전체를 분석할 때 AI 작성 신호가 더 강하게 나타남
• 2026년 초 최고 39%까지 급등했다가 최근 분기 약 32%로 안정화

향후 전망

• AI 작성 논문 비율은 지속적으로 증가할 가능성이 높으나, 분야별 편차가 클 전망
• 측정 방법의 한계(오탐률, 분야별 차이)를 고려한 더 정교한 탐지 기술 필요