AI 요약
심리학계의 숙원인 통합적 인간 정신 이론을 구현하기 위해 개발된 AI 모델 '센타우루스(Centaur)'가 최근 성능 과장 논란에 직면했습니다. 2025년 7월 '네이처(Nature)'지에 처음 소개된 이 모델은 의사결정 및 실행 제어 등 160개 이상의 인지 과제에서 인간과 유사한 능력을 보여 큰 기대를 모았습니다. 그러나 중국 저장대학교 연구팀이 '내셔널 사이언스 오픈(National Science Open)'에 발표한 최신 연구에 따르면, 센타우루스의 성과는 진정한 사고의 결과가 아닌 단순한 패턴 암기와 데이터 과적합의 산물인 것으로 드러났습니다. 연구팀은 실험 과정에서 "A 옵션을 선택하라"는 명시적인 지시를 내렸음에도 불구하고, 모델이 지시를 무시하고 기존 학습 데이터셋의 정답만을 출력하는 현상을 확인했습니다. 이는 현재의 대규모 언어 모델(LLM)이 질문의 의미를 파악하기보다 통계적 확률에 의존해 정답을 '추측'하고 있음을 시사하며, AI의 내부 작동 방식을 알 수 없는 '블랙박스' 특성이 평가의 오류를 야기할 수 있음을 경고하고 있습니다.
핵심 인사이트
- 센타우루스(Centaur) 모델의 한계: 2025년 7월 'Nature' 발표 당시 160개 인지 과제를 수행하며 인간의 사고 모델을 대체할 것으로 기대를 모았으나, 실제로는 데이터 과적합 상태임이 밝혀짐.
- 저장대학교(Zhejiang University)의 검증: 연구진은 기존 심리학 과제 설명을 "A를 선택하라"는 단순 지시로 교체하는 실험을 통해 모델이 맥락을 이해하지 못함을 증명함.
- 통계적 패턴 매칭: 모델은 질문의 의미를 해석하는 대신, 학습된 데이터의 통계적 패턴을 복제하여 정답을 도출하는 '시험 형식을 외운 학생'과 같은 행태를 보임.
주요 디테일
- 과적합(Overfitting) 이슈: AI가 새로운 상황에 적응하지 못하고 훈련 데이터에만 지나치게 최적화되어 실제 지능과 무관한 높은 점수를 기록함.
- 실험 데이터의 반전: 특정 지시(Option A 선택)를 주었음에도 모델이 기존 데이터셋의 정답을 고집한 것은 모델이 입력을 논리적으로 처리하지 않는다는 명백한 증거임.
- 블랙박스 구조의 위험성: LLM의 내부 의사결정 과정이 불투명하여, 겉으로 보이는 성능 지표만으로는 실제 인지 능력 유무를 판단하기 어렵다는 점이 강조됨.
- 심리학 연구와의 연결: 심리학의 통합 이론을 정립하려는 시도에 AI가 도입되었으나, 이번 연구로 인해 기술적 보완의 필요성이 더욱 커짐.
향후 전망
- 평가 체계의 개편: AI의 성능을 단순 결과치로만 측정하는 것이 아니라, 논리적 추론 과정과 맥락 이해도를 검증하는 새로운 평가 프로토콜이 도입될 것으로 예상됨.
- 일반화 능력 강화 연구: 데이터 암기(Memorization)와 진정한 일반화(Generalization)를 구분하고, AI의 인지적 신뢰성을 높이기 위한 기술적 연구가 가속화될 전망임.
출처:sciencedaily