AI 요약
OpenJev는 LLM의 선택 확률을 디코딩 없이 직접 읽어내는 'direct readout'(02A)과 모델이 표시된 선택지 분포를 JSON 형식으로 토큰 단위로 추정해 생성하는 'generation'(02B) 두 가지 방식을 제공하는 도구로 보인다. 02A는 모델의 선택 로짓(logits)을 읽어 사용자가 제공한 선택지에 대해서만 정규화하며, 02B는 동일한 분포를 JSON으로 작성하도록 요청하고 토큰이 도착하는 과정을 관찰한다. 다만 제공된 본문에는 실제 실행 결과(입력·출력·총계)가 표시되지 않아 구체적 성능이나 사용 사례는 확인할 수 없다.
핵심 포인트
- OpenJev는 'direct readout'(02A)과 'generation'(02B) 두 가지 선택 확률 측정 방식을 제시
- 02A는 모델의 선택 로짓을 읽어 제공된 선택지에 대해서만 정규화하는 방식
- 02B는 모델이 동일한 선택지 분포를 JSON으로 추정·작성하도록 하고 토큰 단위로 관찰
- 본문에 실제 실행 결과(입력·출력·총계)가 없어 구체적 성능은 미확인
향후 전망
- LLM의 의사결정 확률을 직접 측정하는 도구로 해석·평가·안전성 연구에 활용될 가능성
- 실제 벤치마크 및 사용 사례 공개 여부에 따라 활용도가 결정될 전망
출처:hackernews