AI 요약
TurboGPT는 CUDA C++로 구현된 초경량 바이트 단위 GPT 학습 도구로, MIT 라이선스로 공개되었습니다. Windows와 Visual Studio 2022 C++ 도구, CUDA 13.4 환경에서 빌드되며, 체크포인트 저장·재개와 TensorBoard 호환 로깅을 지원합니다. hn1g 데이터셋으로 1.5G 토큰 학습 후 2.5295 BPB를 기록했습니다.
핵심 포인트
- CUDA C++ 기반 바이트 단위 GPT, MIT 라이선스, GitHub(lostmsu/TurboGPT) 공개
- 빌드:
.\build.ps1 -CudaArch 86, 실행:.\build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4 - 체크포인트
runs/ctx4/ctx4.pt에 모델·옵티마이저·스케줄러·트레이너 상태 저장,--load로 재개 - hn1g 1.5G 토큰 학습 결과 2.5295 BPB, 검증은
python tests\verify.py
향후 전망
- 소형·저비용 환경에서의 트랜스포머 학습 실험 확산 가능성
- CUDA 아키텍처별 최적화 및 데이터셋 확장을 통한 BPB 개선 기대
출처:hackernews