JEPA로 입증하는 '플라톤 표상 가설', AI가 세상을 이해하는 방식의 비밀

“발레스트리에로와 르쿤이 JEPA 기반으로 '플라톤 표상 가설'을 정리로 증명했다. 좋은 뷰(good views)로 학습된 JEPA는 모달리티 수와 무관하게 회전만 다른 동일 표상을 학습하며, 다음 토큰 예측은 '나쁜 뷰'를 쓰는 JEPA로 설명된다. 1억900만 파라미터 텍스트 JEPA가 DINOv2·CLIP 인코더와 더 잘 정렬됐고, 동일 정렬 도달에 다음 토큰 예측보다 42배 적은 샘플이 필요했다.”

AI 요약

Randall Balestriero와 Yann LeCun이 '플라톤 표상 가설(PRH)'을 정리로 증명하고 개선한 논문을 arXiv에 발표했다. 연구진은 여러 모달리티에 개별 학습된 JEPA(Joint-Embedding Predictive Architectures)가 '좋은 뷰(good views)'를 가질 때 회전(rotation)까지 동일한 표상을 학습한다는 '플라톤 표상 정리'를 증명했다. 다음 토큰 예측은 '나쁜 뷰'를 가진 JEPA로 규정되어, 언어 모델이 규모 확장을 통해서만 비전과 정렬되는 이유를 설명한다. 1억4500만 캡션부터 9억4000만 웹 이미지 텍스트까지 검증했으며, 좋은 뷰는 동일 정렬에 42배 적은 학습 샘플로 충분하고 1억900만 파라미터 텍스트 JEPA가 720억 파라미터 언어 모델보다 DINOv2·CLIP 인코더와 더 잘 정렬됐다.

핵심 포인트

  • '플라톤 표상 정리' 증명: 좋은 뷰를 가진 JEPA는 모달리티 수와 무관하게 회전까지 동일 표상 학습
  • 다음 토큰 예측은 '나쁜 뷰' JEPA로 규정, 언어 모델의 비전 정렬이 규모에만 의존하는 이유 설명
  • 좋은 뷰는 동일 정렬 달성에 다음 토큰 예측 대비 42배 적은 학습 샘플 필요
  • 1억900만 파라미터 텍스트 JEPA가 최대 720억 파라미터 언어 모델 및 CLIP 텍스트 인코더보다 우수한 정렬 성능
  • 회전 하나로 별도 학습 인코더를 이미지 캡셔너로 전환(COCO CIDEr .838), ImageNet-100 제로샷 top-5 64% 기록(언어 모델 최대 56%)

향후 전망

  • 규모 확장이 아닌 '긍정적 뷰' 설계가 플라톤 표상 구축의 핵심 레버로 부상, 멀티모달 AI 학습 효율 혁신 기대
  • 정렬 스케일링 법칙이 미학습 실행을 시드 노이즈 범위 내에서 예측, 향후 모델 설계 지침으로 활용 가능
출처:arXiv (cs.AI)
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...