AI 요약
Postgres의 쿼리 옵티마이저가 조인 순서 결정 등 NP-난해 문제를 다루기 때문에 여전히 최적의 플랜을 생성하지 못한다는 점에 착안해, 4B 규모의 소형 오픈웨이트 모델을 지도 미세조정(SFT)과 에이전틱 강화학습(RL)으로 후학습시켜 더 빠른 쿼리 플랜을 생성하도록 하는 실험을 진행했다. 실행 시간이라는 단일 검증 축이 존재하기 때문에 RL 적용이 효과적이었으며, 113개의 조인 중심 쿼리에서 44.7%의 지연 시간 감소를 달성했다. 특히 초기에는 113개 중 99개 쿼리에 대해 플랜을 아예 생성하지 못하던 모델이 학습 후 유의미한 성능을 보였다. 노이즈가 많은 환경을 위한 커스텀 GRPO 변형, vLLM과 트레이너를 2x H100 노드에 분리 배치하는 등 측정 인프라도 함께 설계했다.
핵심 포인트
- 4B 모델로 113개 조인 중심 쿼리에서 44.7% 지연 시간 감소 달성
- 초기 113개 중 99개 쿼리 플랜 생성 실패 → 학습 후 개선
- Linux 페이지 캐시 경합 노이즈를 최소화하는 Postgres 측정 환경 구축
- 2x H100 노드(vLLM+트레이너)와 4개 Postgres 컨테이너로 RL 분산 실행
향후 전망
- 소형 오픈웨이트 모델의 RL 후학습이 DB 쿼리 최적화 분야에 실용적 대안으로 자리잡을 가능성
- 검증 가능한 단일 지표(실행 시간)를 가진 다른 시스템 최적화 문제로 방법론 확장 기대
출처:hackernews