270억 매개변수 모델 아이폰서 구동…"성능 저하 없는 온디바이스 AI"

미국 스타트업 프리즘ML이 270억 매개변수 LLM을 아이폰 17 프로에서 구동하는 데 성공했다. 54GB 모델을 4GB 미만으로 압축했으며, 성능 저하 없이 모든 매개변수를 동시에 활용하는 점이 특징이다. 이는 애플의 온디바이스 AI 전략에 새로운 전환점이 될 것으로 평가된다.

AI 요약

미국 스타트업 프리즘ML이 270억 매개변수 규모의 대형언어모델(LLM)을 아이폰 17 프로에서 구동하는 데 성공했다. 54GB 용량의 알리바바 '큐원 3.6' 모델을 자체 압축 기술로 4GB 미만으로 줄였으며, 성능 저하 없이 모든 매개변수를 동시에 활용하는 것이 특징이다. 이는 애플의 온디바이스 AI 전략에 새로운 전환점이 될 수 있으며, AI 산업의 경제성을 근본적으로 바꿀 기술로 평가된다.

핵심 포인트

  • 프리즘ML, 270억 매개변수 LLM을 아이폰 17 프로에서 구동 성공 (스마트폰 최대 규모)
  • 54GB 모델을 4GB 미만으로 압축, 성능 손실 없는 수학적 압축 기법 적용
  • 기존 모바일 AI와 달리 270억개 매개변수 모두 동시 활성화
  • 애플, 현재 200억 매개변수 규모 온디바이스 AI 모델 보유 (실제 활성화는 10~40억개)

향후 전망

  • CEO는 3년 내 AI 기능의 95%가 스마트폰 등 로컬 환경에서 처리될 것으로 전망하며, 온디바이스 AI가 AI 산업의 경제성을 근본적으로 바꿀 것이라고 강조
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...