메타, GB200·GB300 클러스터 공개

“메타는 뉴올리언스 오하이오 데이터센터에서 기가와트급 슈퍼클러스터 '프로메테우스'의 1단계를 완료했고, 최종적으로 약 100만 개 GPU 규모로 확장할 계획이다. 프로메테우스는 폐쇄 루프 액체 냉각을 갖추고 수십만 개 GPU를 여러 건물에 걸쳐 단일 기계처럼 연결하며, 이 인프라로 개인 및 업무용 에이전트 작업에서 최첨단 성능을 내는 뮤즈 원더 모델을 학습시켰다. 사전 학습 실행에서 85% 이상, 강화학습 실행에서 90% 이상의 굿풋을 달성했고, 평균 무중단 시간은 약 4만7000 GPU 시간에서 펌웨어 수정으로 5만4000 GPU 시간 이상으로 늘렸다.”

AI 요약

메타가 오하이오주 뉴올버니 데이터센터에 구축한 기기가와트급 슈퍼클러스터 '프로메테우스'의 1단계를 완료하고 약 100만 개 GPU 규모로 확장 중이라고 밝혔다. 1단계는 뮤즈 파운데이션 모델, 특히 에이전트 작업에서 최첨단 성능을 내는 뮤즈 원더 모델 훈련에 사용됐다. 프리트레이닝에서 85% 이상, 강화학습에서 90% 이상의 굿풋(goodput)을 달성했으며, 평균 무중단 시간(MTBI)은 약 4만 7천 GPU 시간에서 5만 4천 GPU 시간 이상으로 개선됐다. 프로메테우스는 폐쇄 루프 액체 냉각을 갖추고 수 마일의 광섬유로 연결된 단일 기계처럼 작동한다.

핵심 포인트

  • 프로메테우스 1단계 완료, 최종 규모 약 100만 개 분산 GPU 목표
  • 프리트레이닝 굿풋 85% 이상, 강화학습 굿풋 90% 이상 달성
  • MTBI 약 4만 7천 GPU 시간에서 펌웨어 수정으로 5만 4천 GPU 시간 이상으로 향상
  • 현재 2개 NVIDIA GPU 플랫폼 운영 중이며 Vera Rubin NVL72 기반 세 번째 플랫폼 도입 예정

향후 전망

  • 메타 슈퍼인텔리전스 랩의 차세대 프런티어 모델 훈련을 위해 지속 확장
  • 더 큰 모델과 더 긴 컨텍스트 윈도우 실현 가능
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...