신경망, 이제는 ‘청정’ 기술로 통한다

AI 요약

Goodfire의 연구진이 신경망의 다의성(polysemanticity)과 중첩(superposition)에 대한 기존 통념이 잘못 해석됐다고 주장한다. InceptionV1의 후반 레이어가 임의적으로 뒤엉켜 보였던 것은 아키텍처 문제와 미약한 해석 도구 때문이었으며, 실제로는 '재귀적 일반화(recursive generalization)'라는 덜 우려스러운 패턴이었다는 것이다. 이에 따라 신경망을 먼저 풀어헤칠 필요 없이 직접 연구할 수 있으며, 기계적 해석가능성(mechanistic interpretability)의 전망이 훨씬 밝다고 본다.

핵심 포인트

• 다의성·중첩이 신경망의 임의적 개념 패킹이라는 기존 통념을 반박
• InceptionV1 후반 레이어의 비해석성은 아키텍처 문제와 약한 해석 도구의 결과
• '재귀적 일반화' 개념 제시 — 임의 패킹이 아닌 덜 우려스러운 패턴
• 아키텍처 개선이 심층 레이어 해석가능성을 오히려 향상시킴
• 신경망을 직접 연구하는 '신경망 자체에 대한 신속한 정상과학' 접근법 제안

향후 전망

• 희소 오토인코더 등 분해 모델 없이 신경망을 직접 연구하는 방향으로 전환 가능
• 에이전트 규모 실험을 통한 설명 검증이 새로운 표준 방법론으로 부상