AI 요약
메타가 오하이오주 뉴올버니 데이터센터에 구축한 기기가와트급 슈퍼클러스터 '프로메테우스'의 1단계를 완료하고 약 100만 개 GPU 규모로 확장 중이라고 밝혔다. 1단계는 뮤즈 파운데이션 모델, 특히 에이전트 작업에서 최첨단 성능을 내는 뮤즈 원더 모델 훈련에 사용됐다. 프리트레이닝에서 85% 이상, 강화학습에서 90% 이상의 굿풋(goodput)을 달성했으며, 평균 무중단 시간(MTBI)은 약 4만 7천 GPU 시간에서 5만 4천 GPU 시간 이상으로 개선됐다. 프로메테우스는 폐쇄 루프 액체 냉각을 갖추고 수 마일의 광섬유로 연결된 단일 기계처럼 작동한다.
핵심 포인트
- 프로메테우스 1단계 완료, 최종 규모 약 100만 개 분산 GPU 목표
- 프리트레이닝 굿풋 85% 이상, 강화학습 굿풋 90% 이상 달성
- MTBI 약 4만 7천 GPU 시간에서 펌웨어 수정으로 5만 4천 GPU 시간 이상으로 향상
- 현재 2개 NVIDIA GPU 플랫폼 운영 중이며 Vera Rubin NVL72 기반 세 번째 플랫폼 도입 예정
향후 전망
- 메타 슈퍼인텔리전스 랩의 차세대 프런티어 모델 훈련을 위해 지속 확장
- 더 큰 모델과 더 긴 컨텍스트 윈도우 실현 가능
