메모리 레이턴시가 문제다

“CPU가 100%로 보여도 실제로는 메모리 접근 지연 때문에 대기 중일 수 있다는 점을 설명한다. 현대 CPU는 나노초당 4~8개 명령을 처리하지만 DRAM 접근은 50~100ns가 걸려 메모리 1회 접근당 400~800개 명령을 처리할 수 있는 격차가 존재하며, L1 캐시는 약 1ns로 RAM보다 50~100배 빠르다. 수백만 개의 고유 그룹이 있는 GROUP BY 집계에서 해시테이블이 커지면 거의 모든 접근이 콜드 미스로 RAM까지 가면서 CPU가 100%로 보여도 실제로는 캐시를 전혀 활용하지 못한다.”

AI 요약

데이터베이스 CPU 사용률 100%가 실제로는 연산 포화가 아니라 메모리 레이턴시 대기 때문일 수 있다는 분석이다. 최신 CPU는 나노초당 4~8개 명령을 처리하지만 DRAM 접근은 50~100ns가 걸려, 메모리 1회 접근 동안 400~800개 명령을 처리할 수 있는 격차가 존재한다. L1 캐시는 약 1ns로 DRAM보다 50~100배 빠르지만 용량이 64KB 수준에 불과하다. GROUP BY 집계에서 수백만 개의 고유 그룹을 해시테이블로 처리하면 대부분 콜드 미스가 발생해 캐시 활용이 저하된다는 점을 Pivot 엔진 실험으로 보여준다.

핵심 포인트

  • CPU는 ns당 4~8 명령 처리, DRAM 접근은 50~100ns 소요
  • L1 캐시 약 1ns·64KB, L2 3~4ns·1MB, L3 10~15ns·수백MB
  • 메모리 1회 접근당 CPU가 400~800개 명령 처리 가능한 격차
  • GROUP BY 해시테이블의 콜드 미스가 캐시 미활용의 주원인

향후 전망

  • 캐시 활용도를 성능 엔지니어링의 핵심 지표로 삼는 데이터베이스 설계가 중요해질 전망
  • 청크 단위 데이터 조작 등 캐시 친화적 알고리즘 최적화 수요 증가
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...