AI 요약
Liquid AI가 차세대 모델군 LFM3를 공개했다. 텍스트·비전·오디오·옴니·의사결정 모델을 하나의 공유 백본에 통합한 멀티모달 패밀리로, 첫 출시는 2B 파라미터급이다. 22T 토큰 사전학습과 새로운 하이브리드 아키텍처(게이트 단거리 컨볼루션 + 슬라이딩 윈도우 어텐션 + 글로벌 어텐션)를 통해 LFM2 대비 표현력을 크게 높이면서도 온디바이스 효율을 유지했다. 기본·후학습 모델 모두 오픈웨이트로 Hugging Face, Playground, Liquid AI API에서 즉시 사용 가능하다.
핵심 포인트
- LFM3-1.7B는 짧은 프롬프트에서 LFM2-1.2B와 동등하면서, 8K 토큰 컨텍스트에서는 약 25% 더 빠름
- 24개 레이어 구성: 컨볼루션 13개(커널 7), SWA 5개(256토큰 윈도우), 글로벌 어텐션 6개
- 하드웨어-인-더-루프 탐색을 14개 디바이스·백엔드 조합으로 확장(삼성 갤럭시 S26 울트라, 원플러스 15, 라즈베리 파이 5, Apple M4 Max, AMD Ryzen AI, Qualcomm Hexagon NPU 등)
- 헤드별 게이티드 어텐션, 부분 RoPE, 샌드위치 노름 등 양자화 안정성·학습 안정성 개선 기법 도입
향후 전망
- 소형·고효율 특화 모델로 로컬 파인튜닝 및 엣지 배포 생태계 확대 기대
- 향후 더 큰 파라미터 규모 및 에이전틱 워크로드 특화 버전 출시 가능성
출처:Hacker News
