AI 요약
고성능 분석용 데이터베이스 기업인 ClickHouse가 자사의 관리형 Postgres 서비스 성능을 객관적으로 검증하고 비교하기 위해 새로운 오픈소스 벤치마크 도구인 'PostgresBench'를 출시했습니다. 이는 기존에 40개 이상의 OLAP 데이터베이스 성능을 투명하게 비교하여 업계 표준으로 자리 잡은 'ClickBench'의 성공 공식을 OLTP 영역인 Postgres에 그대로 이식한 것입니다. PostgresBench는 외부 도구 대신 Postgres 표준 도구인 pgbench를 기반으로 설계되어, 추가 설치 없이 누구나 동일한 조건에서 결과를 쉽게 재현하고 검증할 수 있습니다. 벤치마크는 실제 프로덕션 환경의 트랜잭션 부하를 모사하여 대규모 동시 쓰기 및 업데이트 성능을 정밀하게 측정합니다. 특히 캐시 메모리 한계와 디스크 스토리지 압박을 시뮬레이션할 수 있는 두 가지 대용량 데이터셋 규모를 지원하여 각 서비스의 인프라 효율성을 투명하게 비교합니다. 이번 도구 공개는 불투명했던 관리형 Postgres 시장의 성능 표준을 정립하고, 사용자가 신뢰할 수 있는 데이터 기반의 클라우드 서비스를 선택할 수 있도록 돕는다는 점에서 큰 의미가 있습니다.
핵심 인사이트
- ClickBench의 철학 계승: 분석형(OLAP) 벤치마크로 성공을 거둔 ClickBench의 '공개 및 재현 가능성' 원칙을 트랜잭션형(OLTP) 데이터베이스 영역으로 확장함.
- 실제 프로덕션 규모의 테스트 스펙: 성능 왜곡을 막기 위해 **256개의 클라이언트(Clients)**와 **16개의 스레드(Threads)**를 사용해 10분(600초) 동안 장기 실행하여 안정적인 처리량을 측정함.
- 이원화된 데이터 규모 설정: 데이터가 캐시에 완벽히 올라가는 100 GB (Scale Factor 6849) 규모와 스토리지 병목이 발생하는 500 GB (Scale Factor 34247) 규모로 이원화하여 디스크 압박 성능을 정밀 진단함.
- 표준 도구 pgbench 활용: Sysbench 등 타 DB 전용 도구 대신 Postgres 기본 탑재 도구인
pgbench를 사용하여 도구의 신뢰성을 높이고 누구나 쉽게 검증할 수 있도록 설계함.
주요 디테일
- TPC-B 기반 워크로드 채택: 잦은 쓰기와 업데이트가 반복되는 TPC-B 유사 워크로드를 사용하여 결제 처리, 주문 및 재고 업데이트 등 가혹한 트랜잭션 환경을 구현함.
- 투명성 및 오픈소스 기여 모델: 모든 설정값, 데이터셋, 쿼리, 결과가 완전히 공개되며 성능 측정 수치가 불공정하거나 의심스러울 경우 누구나 수정을 요청하고 개선안을 제출할 수 있음.
- 실행 매개변수 명시:
pgbench -c 256 -j 16 -T 600 -M prepared -P 30등의 구체적인 명령어 세트를 공개하여 벤치마크 실행의 신뢰도를 보장함. - 통합 데이터 스택 제안: 트랜잭션 처리에 최적화된 Postgres와 대규모 분석에 강한 ClickHouse를 결합하여 SaaS 및 AI 애플리케이션 구축을 위한 'Best-of-breed(최적 조합)' 아키텍처를 제시함.
- 스토리지 아키텍처 한계 측정: 100GB와 500GB 테스트 결과 간의 성능 격차 분석을 통해, 각 클라우드 제공업체의 Managed Postgres 가상 머신 및 스토리지 효율성을 직접적으로 파악할 수 있음.
향후 전망
- 관리형 Postgres 시장의 경쟁 가속화: AWS RDS, GCP Cloud SQL, Supabase, Neon 등 주요 글로벌 클라우드 서비스 제공업체들의 실제 성능이 투명하게 비교되며 가성비 및 성능 경쟁이 더욱 치열해질 것입니다.
- 벤더 가이드라인 및 상향 평준화 유도: 벤치마크 결과에 대응하기 위해 각 클라우드 벤더들이 인프라 구성을 고도화하고 성능 튜닝 패치를 배포함에 따라 전반적인 서비스 품질이 향상될 것으로 기대됩니다.
출처:hackernews