기억만으로 트랜스포머를 발명할 수 있었다

AI 요약

선형 레이어, MLP, 셀프 어텐션을 각각 메모리 저장소로 해석하는 직관적 관점을 제시하며, 트랜스포머의 작동 원리를 설명한다. 핵심 지표는 '간섭 대 신호 비율(interference-to-signal ratio)'로, 저장된 기억이 늘어날수록 서로 간섭이 커져 회상이 어려워진다. 64차원 키 기준으로 선형 레이어는 약 64개, MLP는 약 2,700개, 셀프 어텐션은 100만 개 이상의 기억을 저장할 수 있다.

핵심 포인트

• 외적(outer product) 기반 선형 메모리 저장소는 64차원 키에서 약 64개 기억만 저장 가능
• MLP는 용량과 회상 능력을 개선해 약 2,700개까지 저장
• 셀프 어텐션은 100만 개 이상의 기억을 저장할 수 있어 사실상 무한 용량에 가까움
• 경사 하강법 한 스텝이 하나의 기억을 쓰는 것과 동일하다는 통찰 제시

향후 전망

• 메모리 용량 관점의 분석이 트랜스포머 아키텍처 개선과 새 모델 설계에 기여할 전망
• 연상 기억(associative memory) 이론과 LLM 해석 가능성 연구의 접점 확대