AI 요약
2026년 4월 5일, 개발자 Salman Mohammadi는 Andrej Karpathy의 nanochat 프로젝트를 계승한 고성능 코딩 에이전트 학습 라이브러리인 'Nanocode'를 발표했습니다. 이 프로젝트는 Anthropic이 Claude 모델 학습에 사용한 Constitutional AI 방법론을 차용하여, 사용자가 직접 SOUL.md를 정의하고 선호도 최적화를 통해 모델을 정렬할 수 있게 설계되었습니다. Nanocode는 전적으로 JAX 언어로 작성되었으며 구글의 TPU 환경에 최적화되어 있어, 고가의 GPU 자원 없이도 클라우드 크레딧이나 TRC 프로그램을 통해 저비용으로 고성능 모델을 학습시킬 수 있다는 점이 핵심입니다. 특히 'The Stack-V2' 데이터를 활용해 코딩 역량을 극대화했으며, 개인 개발자도 단돈 수백 달러로 자신만의 Claude급 코딩 에이전트를 소유할 수 있는 길을 열었습니다.
핵심 인사이트
- 극강의 가성비: 1.3B(13억) 파라미터 규모의 nanocode-d24 모델은 TPU v6e-8에서 약 9시간 만에 학습이 가능하며 비용은 단 $200 수준입니다.
- 초경량 옵션: 477M 파라미터의 nanocode-d20 모델은 약 1.5시간의 학습 시간과 $34의 비용으로 구축할 수 있습니다.
- 데이터 최적화: 사전 학습 및 토크나이저 훈련 시 'The Stack-V2'의 코딩 데이터를 1:5 비율로 혼합하여 코드 토큰화 효율성과 추론 성능을 향상시켰습니다.
주요 디테일
- 기술 스택: 순수 JAX(Pure JAX)로 구현되어 TPU에서 최상의 성능을 발휘하며, NVIDIA GPU 환경에서도 즉시 실행 가능한 호환성을 갖추고 있습니다.
- 학습 방법론: Anthropic의 방식과 유사하게 SOUL.md 정의, 에이전틱 인터페이스 설정, 합성 데이터 생성, 선호도 최적화(Preference Optimisation) 과정을 거치는 엔드투엔드 학습을 지원합니다.
- 자원 활용: Google TRC(TPU Research Cloud) 프로그램의 한 달 무료 TPU 지원 및 신규 계정의 $300 크레딧을 활용하여 사실상 무료로 시작할 수 있는 가이드를 제공합니다.
- 검증된 아키텍처: Andrej Karpathy의 nanochat 인프라와 철학을 기반으로 하여 기존 nanochat 사용자라면 쉽게 적응할 수 있는 구조를 취하고 있습니다.
- 실전 성능: 나노코드 d24 모델은 실제 코딩 환경에서 에이전트로서 동작하며 사용자와 상호작용하는 시연(nanocode.mp4)을 통해 성능을 입증했습니다.
향후 전망
- 개인형 AI 시대 가속화: 거대 기업의 API에 의존하지 않고 개인이 수백 달러 내외의 예산으로 특화된 고성능 코딩 에이전트를 보유하는 트렌드가 확산될 것입니다.
- TPU/JAX 생태계 확장: NVIDIA GPU 부족 현상 속에서 TPU와 JAX를 활용한 고효율 오픈소스 학습 프레임워크에 대한 관심이 더욱 높아질 것으로 보입니다.
출처:hackernews