AI 요약
Randall Balestriero와 Yann LeCun이 '플라톤 표상 가설(PRH)'을 정리로 증명하고 개선한 논문을 arXiv에 발표했다. 연구진은 여러 모달리티에 개별 학습된 JEPA(Joint-Embedding Predictive Architectures)가 '좋은 뷰(good views)'를 가질 때 회전(rotation)까지 동일한 표상을 학습한다는 '플라톤 표상 정리'를 증명했다. 다음 토큰 예측은 '나쁜 뷰'를 가진 JEPA로 규정되어, 언어 모델이 규모 확장을 통해서만 비전과 정렬되는 이유를 설명한다. 1억4500만 캡션부터 9억4000만 웹 이미지 텍스트까지 검증했으며, 좋은 뷰는 동일 정렬에 42배 적은 학습 샘플로 충분하고 1억900만 파라미터 텍스트 JEPA가 720억 파라미터 언어 모델보다 DINOv2·CLIP 인코더와 더 잘 정렬됐다.
핵심 포인트
- '플라톤 표상 정리' 증명: 좋은 뷰를 가진 JEPA는 모달리티 수와 무관하게 회전까지 동일 표상 학습
- 다음 토큰 예측은 '나쁜 뷰' JEPA로 규정, 언어 모델의 비전 정렬이 규모에만 의존하는 이유 설명
- 좋은 뷰는 동일 정렬 달성에 다음 토큰 예측 대비 42배 적은 학습 샘플 필요
- 1억900만 파라미터 텍스트 JEPA가 최대 720억 파라미터 언어 모델 및 CLIP 텍스트 인코더보다 우수한 정렬 성능
- 회전 하나로 별도 학습 인코더를 이미지 캡셔너로 전환(COCO CIDEr .838), ImageNet-100 제로샷 top-5 64% 기록(언어 모델 최대 56%)
향후 전망
- 규모 확장이 아닌 '긍정적 뷰' 설계가 플라톤 표상 구축의 핵심 레버로 부상, 멀티모달 AI 학습 효율 혁신 기대
- 정렬 스케일링 법칙이 미학습 실행을 시드 노이즈 범위 내에서 예측, 향후 모델 설계 지침으로 활용 가능
출처:arXiv (cs.AI)
