Show HN: NanoEuler – 순수 C/CUDA로 처음부터 만든 GPT-2 스케일 모델

AI 요약

순수 C/CUDA로 PyTorch나 autograd 없이 처음부터 구축한 GPT-2급 언어 모델인 NanoEuler를 소개하는 프로젝트입니다. 약 1억 1600만 개 파라미터의 모델을 단일 RTX 4070 GPU에서 훈련할 수 있으며, 수제 BPE 토크나이저, FlashAttention, 전체 모델 그래디언트 검증 등이 포함되어 있습니다. 프로젝트 이름은 잔차 블록을 오일러 수치 적분법으로 해석한 관점에서 레온하르트 오일러의 이름을 따왔습니다.

핵심 포인트

• 약 1억 1600만 개 파라미터 모델을 단일 RTX 4070 GPU에서 훈련 가능
• 수제 바이트 수준 BPE 토크나이저, 수제 FlashAttention, cuBLAS 행렬 곱셈 사용
• CPU(libm + OpenMP)와 GPU(CUDA) 모두 지원하며, 전체 모델 그래디언트 검증 완료
• 잔차 블록 x = x + f(x)를 오일러 전진법 dx/dt = f(x)의 이산화로 해석

향후 전망

• RLHF/DPO 파인튜닝이 계획되어 있어 챗봇 성능 개선 가능성 있음
• 교육용/연구용 아티팩트로서 딥러닝 파이프라인 전체를 이해하는 데 유용한 참고 자료가 될 것임