예브, 트롤리 딜레마에 맞서다

“Jev와 유사한 '결정 모델'이 빠르고 저렴한 범용 의사결정 능력으로 주목받는 가운데, Jev, OpenAI Decisions API(Luna), 11개 로컬 결정 모델, 비튜닝 베이스라인 Laya를 대상으로 트롤리 딜레마 실험이 진행됐다. 5,240개의 설정과 반복 횟수로 구성된 실험에서 Jev는 고전적 5대1 스위치 문제에서 다수를 살리기 위해 1명을 희생하는 선택을 했고, 다른 13개 모델 중 11개도 대부분의 24가지 표현에서 같은 선택을 했다. 참고로 42개국 약 7만 명을 조사한 Awad et al. 2020 연구에서는 평균 81%가 5명에서 1명으로 방향을 전환하는 쪽을 택했다.”

AI 요약

AI·소프트웨어 개발 커뮤니티에서 최근 화제가 된 'Jev'와 이와 유사한 '결정 모델(decision model)'들을 트롤리 딜레마에 적용한 실험이 진행되었다. 이 모델들은 단어 대신 확률이 부여된 선택지를 출력하며, Claude 같은 LLM보다 수십~수백 배 저렴하고 빠르면서도 준최상위 프런티어 모델급 지능을 갖췄다고 평가된다. 저자는 Jev, OpenAI의 Decisions API(Luna), 11개 로컬 결정 모델, 그리고 미세조정되지 않은 베이스라인 Laya를 비교군으로 구성해 트롤리 딜레마를 다양한 방식으로 반복 질의했다. 그 결과 Jev는 대부분의 인간과 마찬가지로 5명을 살리기 위해 1명을 희생하는 선택을 했고, 다른 모델들도 대체로 같은 결론을 내렸다. 실험은 5,240개의 셋업과 반복 횟수로 구성되었으며 코드는 GitHub에 공개되었다.

핵심 포인트

  • Jev 및 유사 결정 모델은 단어 대신 확률이 부여된 선택을 출력, LLM보다 수십~수백 배 저렴·빠름
  • 비교군: Jev, OpenAI Decisions API(Luna), 로컬 결정 모델 11개, 베이스라인 Laya (총 13개+)
  • 트롤리 딜레마는 1967년 Philippa Foot이 제시, 1976년 Judith Jarvis Thomson이 명명
  • 실험 규모: 5,240개 셋업과 반복 횟수, 코드 GitHub 공개
  • Jev는 고전적 5대1 스위치 문제에서 1명을 희생해 5명을 구하는 선택 (인간 다수와 동일)
  • 2020년 Awad 등의 42개국 7만 명 조사에서 평균 81%가 5명에서 1명으로 방향 전환 선택

향후 전망

  • 결정 모델의 윤리적 판단 능력에 대한 심층 비교 연구 필요성 대두
  • 저렴하고 빠른 결정 모델이 AI 의사결정 응용 분야에서 빠르게 확산될 전망
Share

이것도 읽어보세요

댓글

이 소식에 대한 의견을 자유롭게 남겨주세요.

댓글 (0)

불러오는 중...