AI 요약
이 기사는 전 테슬라 AI 책임자 안드레 카파시(Andrej Karpathy)가 작성한 200줄 분량의 순수 파이썬 스크립트 'MicroGPT'를 바탕으로 LLM의 작동 원리를 상세히 분석합니다. 이 모델은 외부 라이브러리나 의존성 없이 GPT의 핵심 알고리즘을 구현하며, 32,000개의 사람 이름을 데이터셋으로 사용하여 학습을 진행합니다. 학습을 마친 모델은 'kamon', 'karai', 'anna', 'anton'과 같이 실제 존재할 법한 새로운 이름을 생성하는 능력을 갖추게 됩니다. 기사는 텍스트를 숫자로 변환하는 토크나이징 과정부터 BOS(Beginning of Sequence) 토큰의 역할까지 상세히 다룹니다. 특히 ChatGPT와 같은 거대 모델이 수행하는 '다음 토큰 예측' 게임의 원리를 슬라이딩 윈도우 방식을 통해 설명하며, 인공지능이 어떻게 문맥을 파악하고 통계적으로 문서를 완성해 나가는지 명확하게 보여줍니다.
핵심 인사이트
- 200줄의 코드: 안드레 카파시는 외부 라이브러리 없이 순수 Python만으로 GPT의 핵심 알고리즘을 200줄 내외로 구현했습니다.
- 32,000개의 데이터셋: 'emma', 'olivia' 등 32,000개의 실제 사람 이름을 학습 데이터로 사용하여 문자의 통계적 패턴을 파악합니다.
- 27개의 토큰 구성: 소문자 알파벳 26개와 시퀀스의 시작 및 끝을 알리는 BOS(ID 26) 토큰 1개를 포함하여 총 27개의 어휘 사전 규모를 유지합니다.
주요 디테일
- 토크나이저의 역할: 신경망은 문자가 아닌 숫자(정수)를 처리하므로, 'a'를 0으로, 'z'를 25로 매핑하는 정수 변환 과정이 필수적입니다.
- 다음 토큰 예측: 모델은 주어진 문맥(Context)을 기반으로 다음에 올 문자를 예측하며, 'emma'라는 단어 하나에서 5개의 학습 데이터 쌍을 생성합니다.
- 슬라이딩 윈도우: 입력값이 [BOS]일 때 'e'를, [BOS, e]일 때 'm'을 예측하는 방식으로 윈도우를 이동하며 학습을 진행합니다.
- 비교 분석: GPT-4에서 사용하는 tiktoken은 효율성을 위해 약 100,000개의 토큰 사전을 사용하지만, MicroGPT와 근본적인 작동 원리는 동일합니다.
- 확률 기반 출력: 각 단계에서 모델은 27개의 가능한 토큰에 대해 원시 점수(Raw scores)를 매기고, 이를 확률로 변환하여 가장 적절한 다음 문자를 선택합니다.
향후 전망
- 교육적 가치: 거대하고 복잡한 LLM의 블랙박스를 200줄의 코드로 투명하게 공개함으로써 AI 입문자들의 기술적 장벽을 낮출 것입니다.
- LLM 본질 이해: 사용자의 프롬프트에 대한 AI의 응답이 단순한 대화가 아닌 '통계적 문서 완성'임을 명확히 인식시키는 계기가 될 것입니다.
출처:hackernews