Jev를 형편없는 챗봇으로 만들어봤다

AI 요약

Jev라는 모델을 활용해 형편없는 챗봇을 만드는 실험 프로젝트 jevchat이 공개됐다. 매 단계마다 "다음에 올 기호는 무엇인가"라는 단일 질문을 Jev에 던지고, 반환된 확률 분포에서 샘플러가 다음 기호를 뽑는 방식으로 동작한다. choice, bisect, buckets 등 여러 샘플링 전략과 알파벳(토큰 목록)을 조합할 수 있으며, Claude의 도움을 받아 구현된 실험이다. 비용은 비현실적이지만 결과는 매우 웃기다는 것이 제작자의 설명이다.

핵심 포인트

• 매 스텝마다 Jev에 단일 질문을 던져 다음 기호의 확률 분포를 얻는 방식으로 동작한다.
• choice(기본), bisect, buckets 등 다양한 샘플링 전략을 지원하며 -s/-a 플래그로 조합 가능하다.
• --ensemble 4로 4개의 재정렬을 병렬 질문으로 평균내는 옵션도 제공한다.
• poetry 기반 설치, .env에 API 키 설정, jevchat ask, jevchat bench 등 CLI 명령을 제공한다.

향후 전망

• LLM을 활용한 샘플링 실험의 일종으로, 향후 다양한 모델·전략 조합 실험이 이어질 수 있다.
• 재미 목적의 프로젝트지만, 확률 분포 샘플링 기법 연구에 참고 자료가 될 수 있다.