AI 요약
LLM 기반 소설 생성 서비스 'fountale' 운영자 사이키 도시타카가 GPT의 기이한 편향을 발견했다. GPT는 캐릭터 이름을 생성할 때 절반 이상의 확률로 "恒一(고이치)"를 선택하며, 심지어 여성 캐릭터에게도 "恒一"나 "恒一子"라는 이름을 붙이는 현상을 보인다. 같은 작품 내 3명 중 2명이 "恒一"과 "恒一郎"이 되는 사례도 보고됐다. Claude는 이를 "특정 토큰열에 대한 병리적 수렴(pathological token bias)"의 일종인 과학습으로 설명했으나, 정확한 원인은 여전히 미상이다.
핵심 포인트
- GPT가 캐릭터 절반 이상에 "恒一"이라는 이름을 부여하는 강한 편향을 보임
- 여성 캐릭터에게도 "恒一", "恒一子"라는 이름을 붙이는 성별 무시 현상 발생
- Claude는 이를 "pathological token bias"이자 과학습의 한 형태로 진단
- ChatGPT에 남성 이름을 요청하면 대량의 "恒一"이 출력된다는 다수 사용자 보고 존재
향후 전망
- GPT 모델의 학습 데이터 편향 및 버그 가능성에 대한 추가 조사 필요
- LLM 창작 도구에서 특정 토큰 편향을 제어하는 기술적 대응 방안 모색 예상
출처:hatena