DuckDB 2.0, 왜 더 빨라졌나

AI 요약

DuckDB 2.0 알파 버전이 공개되며 성능 향상의 핵심으로 비동기 I/O가 소개됐다. S3에 있는 2.2GB Parquet 파일(2억 2,800만 행)을 대상으로 한 동일 쿼리에서 1.5.5 버전은 18.8초, 2.0 알파는 7.7초가 걸려 약 2.4배 빨라졌다. 기존에는 각 워커가 다운로드와 디코딩을 번갈아 수행해 CPU와 네트워크가 동시에 놀았지만, 2.0에서는 별도 스레드 풀이 다운로드만 전담하고 워커는 디코딩만 해 네트워크와 CPU가 동시에 바쁘게 돌아간다.

핵심 포인트

• DuckDB 2.0은 2026년 가을 정식 출시 예정이며 알파 버전이 공개됐다.
• S3의 2.2GB Parquet 파일(Stack Overflow votes, 2억 2,800만 행, 2,268개 row group) 집계 쿼리에서 1.5.5는 18.8초, 2.0 알파는 7.7초를 기록했다.
• 1.5.5에서는 18개 워커가 다운로드와 디코딩을 순차 처리해 CPU·네트워크가 유휴 상태가 됐지만, 2.0은 전용 다운로드 스레드 풀이 수십 개 row group을 동시에 처리한다.
• 쿼리 자체는 변경 없이 그대로 사용 가능하며, 테스트는 M5 노트북과 가정용 인터넷 환경에서 이뤄졌다.

향후 전망

• 비동기 I/O를 비롯한 2.0의 신기능이 데이터 파이프라인 구축 비용과 시간을 크게 절감할 것으로 기대된다.
• 클라우드 컴퓨팅 환경에서 실행할 경우 성능 향상 폭이 더욱 커질 가능성이 있다.