AI 요약
xarray-sql 프로젝트의 데모로, 약 25줄의 SQL만으로 트랜스포머의 핵심인 어텐션 연산을 표현하고 FlashAttention 커널을 자동 생성하는 방법을 보여준다. 어텐션은 softmax(Q·Kᵀ/√d)·V로, Q·K·V를 (t, d, x) 테이블로 등록하면 두 개의 조인 합으로 표현된다. 쿼리 옵티마이저 einfold가 어텐션에 특화된 규칙 없이도 "조인으로 계산된 점수에 softmax 가중 평균을 적용하는 모든 경우를 융합"하는 일반 규칙으로 FlashAttention 계획을 찾아낸다. 이 스크립트는 DataFusion, einfold 적용 DataFusion, DuckDB 등 여러 엔진에서의 순전파와 역전파를 JAX 구현과 비교 검증한다.
핵심 포인트
- 약 25줄의 SQL로 어텐션(softmax(Q·Kᵀ/√d)·V)을 두 개의 조인 합으로 표현
- einfold 옵티마이저가 어텐션 전용 규칙 없이 일반 융합 규칙으로 FlashAttention 계획 자동 도출
- DataFusion, einfold+DataFusion, DuckDB 등 여러 엔진에서 순전파·역전파를 JAX와 대조 검증
- FlashAttention(Dao et al., 2022)은 N×N 점수를 저장하지 않고 블록 스트리밍으로 동일 결과 계산
향후 전망
- SQL 기반 선언적 표현에서 고성능 어텐션 커널을 자동 생성하는 접근이 ML 컴파일러·최적화 연구로 확장될 가능성
- einfold의 세 가지 타깃 데모 중 첫 사례로, 향후 다양한 배열 연산 융합 사례로 발전할 전망
