AMD, 추론 성능 극대화 위해 AI 스타트업 ‘탈라스’ 인수…모델을 실리콘에 각인

AMD가 AI 칩 스타트업 탈라스를 인수하여 모델 가중치를 실리콘에 직접 각인하는 MSIC 기술을 확보했다. 탈라스의 HC1 칩은 Llama 3.1 8B를 초당 16,960 토큰으로 처리하며, 2세대 HC2는 200억 파라미터를 지원할 예정으로, 대규모 모델을 효율적으로 서빙할 수 있다.

AI 요약

AMD가 AI 칩 스타트업 '탈라스(Taalas)'를 인수했습니다. 탈라스는 모델 가중치를 HBM 대신 실리콘에 직접 각인하는 '모델 특화 집적회로(MSIC)' 방식으로 추론 성능을 10배 이상 향상시키는 혁신 기술을 보유했습니다. 첫 테스트 칩 HC1은 TSMC 6nm 공정으로 제작되어 Llama 3.1 8B를 초당 16,960토큰으로 처리했으며, 이는 엔비디아 GPU보다 48배, Cerebras보다 8.5배 빠른 수치입니다.

핵심 포인트

  • 탈라스 HC1: TSMC 6nm 공정, Llama 3.1 8B를 초당 16,960토큰 처리 (발표 당시 엔비디아 대비 48배, Cerebras 대비 8.5배 빠름)
  • 2세대 HC2 칩은 200억 파라미터 지원 예정, 파이프라인 병렬화로 50개 칩이면 1조 파라미터 모델 서빙 가능
  • 칩 구조: 마스크-ROM 리콜 패브릭(모델 가중치 각인) + SRAM 리콜 패브릭(KV 캐시·파인튜닝 어댑터 저장)
  • AMD는 인스팅트(Instinct) 기반 헬리오스(Helios) 랙과 결합해 엔비디아 LPX 시스템보다 공간·전력 효율 우위 확보

향후 전망

  • 모델 가중치를 실리콘에 각인하는 방식은 AI 에이전트용 '프리미엄 추론 서비스'의 비용·속도 혁신을 주도할 전망
  • 엔비디아의 Groq 라이선스 계약(200억 달러)과 유사한 맥락에서 AMD의 추론 시장 경쟁력이 크게 강화될 것
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...