Show HN: 약 25줄의 SQL로 FlashAttention 커널 자동 생성

“xarray-sql 데모에서 약 25줄의 SQL로 트랜스포머의 핵심인 어텐션(softmax(Q·Kᵀ/√d)·V)을 표현하고, 쿼리 최적화기 einfold가 이를 FlashAttention 방식으로 자동 재작성한다. FlashAttention(Dao et al., 2022)은 N×N 점수 행렬을 저장하지 않고 키·쿼리 블록을 스트리밍하며 러닝 소프트맥스를 유지하는 기법으로, einfold는 어텐션 전용 규칙 없이 조인으로 점수를 계산하는 소프트맥스 가중 평균을 융합하는 일반 규칙으로 이 계획을 찾아낸다. 스크립트는 DataFusion, einfold 적용 DataFusion, DuckDB 각 엔진의 순전파 결과를 JAX 구현과 대조 검증한다.”

AI 요약

xarray-sql 프로젝트의 데모로, 약 25줄의 SQL만으로 트랜스포머의 핵심인 어텐션 연산을 표현하고 FlashAttention 커널을 자동 생성하는 방법을 보여준다. 어텐션은 softmax(Q·Kᵀ/√d)·V로, Q·K·V를 (t, d, x) 테이블로 등록하면 두 개의 조인 합으로 표현된다. 쿼리 옵티마이저 einfold가 어텐션에 특화된 규칙 없이도 "조인으로 계산된 점수에 softmax 가중 평균을 적용하는 모든 경우를 융합"하는 일반 규칙으로 FlashAttention 계획을 찾아낸다. 이 스크립트는 DataFusion, einfold 적용 DataFusion, DuckDB 등 여러 엔진에서의 순전파와 역전파를 JAX 구현과 비교 검증한다.

핵심 포인트

  • 약 25줄의 SQL로 어텐션(softmax(Q·Kᵀ/√d)·V)을 두 개의 조인 합으로 표현
  • einfold 옵티마이저가 어텐션 전용 규칙 없이 일반 융합 규칙으로 FlashAttention 계획 자동 도출
  • DataFusion, einfold+DataFusion, DuckDB 등 여러 엔진에서 순전파·역전파를 JAX와 대조 검증
  • FlashAttention(Dao et al., 2022)은 N×N 점수를 저장하지 않고 블록 스트리밍으로 동일 결과 계산

향후 전망

  • SQL 기반 선언적 표현에서 고성능 어텐션 커널을 자동 생성하는 접근이 ML 컴파일러·최적화 연구로 확장될 가능성
  • einfold의 세 가지 타깃 데모 중 첫 사례로, 향후 다양한 배열 연산 융합 사례로 발전할 전망
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...