AI 요약
Tinybird의 엔지니어가 ClickHouse 18.4 버전부터 약 6년간 펫타바이트급 클러스터를 운영하며 얻은 교훈을 공유했다. 클러스터 구축은 쉽지만 유지 운영이 어렵다는 점을 강조하며, 복제본(replica)과 샤드(shard)로 구성된 전통적 아키텍처가 대규모 시스템에는 점차 부적합해지고 있다고 지적한다. 저자는 클라우드 스토리지와 컴퓨트 분리 방식에 완전히 동의하지는 않지만, 클러스터 관리와 비용 절감 측면에서 장점이 있다고 언급한다. 초기에는 샤드 없이 복제본만으로 수직·수평 확장했고, 로컬 SSD를 사용해 지연을 줄였다.
핵심 포인트
- Tinybird에서 ClickHouse 18.4 버전부터 약 6년간 펫타바이트급 클러스터 운영
- 복제본·샤드 기반 전통 아키텍처가 대규모 시스템에 부적합해지는 추세 지적
- 초기에는 샤드 없이 복제본만으로 수직·수평 확장, 로컬 SSD로 지연 최소화
- 클라우드 스토리지·컴퓨트 분리 방식의 관리·비용 장점 언급
향후 전망
- 스토리지와 컴퓨트 분리 아키텍처 도입 여부가 대규모 클러스터 운영의 핵심 논점
- 샤딩 도입 시점과 방식에 대한 실무적 의사결정 필요
출처:Tinybird Blog (hackernews)