LFM3 공개: 특화 지능을 위한 모든 모달리티 지원

“Liquid AI가 특화 지능을 위한 차세대 모델군 LFM3를 공개했다. 텍스트·비전·오디오·옴니·의사결정 모델을 하나의 공유 백본에 통합한 멀티모달 패밀리로, 첫 출시는 2B 파라미터급이며 22T 토큰으로 사전학습됐다. 게이트 단기 컨볼루션·슬라이딩윈도 어텐션(256토큰)·글로벌 어텐션을 결합한 24개 레이어 트라이하이브리드 구조로, 8K 컨텍스트에서 LFM2-1.2B 대비 약 25% 빠르며 베이스·후학습 모델 가중치를 Hugging Face와 API로 공개했다.”

AI 요약

Liquid AI가 차세대 모델군 LFM3를 공개했다. 텍스트·비전·오디오·옴니·의사결정 모델을 하나의 공유 백본에 통합한 멀티모달 패밀리로, 첫 출시는 2B 파라미터급이다. 22T 토큰 사전학습과 새로운 하이브리드 아키텍처(게이트 단거리 컨볼루션 + 슬라이딩 윈도우 어텐션 + 글로벌 어텐션)를 통해 LFM2 대비 표현력을 크게 높이면서도 온디바이스 효율을 유지했다. 기본·후학습 모델 모두 오픈웨이트로 Hugging Face, Playground, Liquid AI API에서 즉시 사용 가능하다.

핵심 포인트

  • LFM3-1.7B는 짧은 프롬프트에서 LFM2-1.2B와 동등하면서, 8K 토큰 컨텍스트에서는 약 25% 더 빠름
  • 24개 레이어 구성: 컨볼루션 13개(커널 7), SWA 5개(256토큰 윈도우), 글로벌 어텐션 6개
  • 하드웨어-인-더-루프 탐색을 14개 디바이스·백엔드 조합으로 확장(삼성 갤럭시 S26 울트라, 원플러스 15, 라즈베리 파이 5, Apple M4 Max, AMD Ryzen AI, Qualcomm Hexagon NPU 등)
  • 헤드별 게이티드 어텐션, 부분 RoPE, 샌드위치 노름 등 양자화 안정성·학습 안정성 개선 기법 도입

향후 전망

  • 소형·고효율 특화 모델로 로컬 파인튜닝 및 엣지 배포 생태계 확대 기대
  • 향후 더 큰 파라미터 규모 및 에이전틱 워크로드 특화 버전 출시 가능성
출처:Hacker News
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...