AI 요약
확산 모델을 언어 생성에 적용하는 '연속 확산 언어 모델(CDLM)' 연구가 최근 다시 활기를 띠고 있습니다. 2021년 초기 시도 이후 완전 이산(discrete) 확산 방식이 주류를 차지했지만, 최근 연구 흐름이 바뀌고 있습니다. 이 글은 자기회귀(autoregressive) 모델의 한계를 지적하며, 확산 모델이 언어 생성의 새로운 패러다임이 될 가능성을 탐구합니다. 특히 교사 강제(teacher forcing)로 인한 노출 편향(exposure bias)과 제약 생성 작업에서의 어려움 등이 대안 접근법의 필요성을 부각시키고 있습니다.
핵심 포인트
- 2021년 다항 확산(multinomial diffusion), D3PM, SUNDAE 등 초기 이산 확산 모델이 등장
- GPT-3 이후 자기회귀 모델의 지배력이 확고해졌으나, ChatGPT 등장(2022년 말) 이전에는 경쟁 구도가 형성되어 있었음
- 연속 확산 모델은 오디오·비주얼 분야의 성공(2019~2020년)에 영감을 받아 언어에 적용 시도
- 완전 이산 확산 방식이 초기 연속 확산의 한계를 보완하며 주류로 자리잡았으나 최근 다시 연속 방식 연구가 부활
향후 전망
- 연속 확산 언어 모델이 자기회귀 모델의 대안으로 자리잡을 경우, 생성 속도와 제약 생성(task)에서 혁신적 변화 가능
- 확산 모델과 자기회귀 모델의 장점을 결합한 하이브리드 접근법 연구가 활발해질 전망
출처:hackernews