폴라스 2.0 사전 공개… 데이터 처리 속도·호환성 대폭 개선

AI 요약

Polars가 2.0 릴리스 후보를 공개했다. 이번 메이저 버전 업그레이드의 핵심은 모든 LazyFrame 쿼리가 기본적으로 스트리밍 엔진에서 실행되도록 변경된 것으로, 메모리 사용량과 성능에서 대폭 개선이 기대된다. 집계 기준 스트리밍 엔진은 기존 대비 5배 이상 빠를 것으로 예상되며, 일부 연산(join, group_by, unpivot 등)에서 행 순서가 보장되지 않는 점은 maintain_order=True 옵션으로 대응할 수 있다.

핵심 포인트

• LazyFrame collect() 호출 시 스트리밍 엔진이 기본 실행 엔진으로 변경
• 스트리밍 엔진 기준 집계 성능이 기존 대비 5배 이상 개선 전망
• 행 순서 보장이 필요한 경우 maintain_order=True 또는 engine="in-memory" 옵션 사용 가능
• AI 기반 개발 환경 대응을 위해 collect_schema()를 통한 조기 스키마 검증 강화

향후 전망

• Polars 2.0 정식 출시는 수주 내 이뤄질 예정
• 스트리밍 엔진 기본화로 대용량 데이터 처리 시 메모리 부담이 크게 완화될 것으로 기대