AI 요약
플로리다에 거주하는 여성 Carli Michelle Heller가 앤스로픽의 챗봇 Claude를 일기장처럼 사용하다가, 셰리프 사무소를 향한 총기 난사 계획을 언급한 내용이 안전 시스템에 의해 감지되어 경찰에 신고당했다. Claude의 안전 시스템이 해당 내용을 플래그 처리하자 인간 검토자가 이를 신뢰할 만한 위협으로 판단해 수사 당국에 통보했고, 경찰은 Heller를 체포했다. 그녀는 플로리다주 법률에 따라 폭력적 서면 위협 혐의로 2급 중범죄로 기소될 위기에 처했다. 이 사건은 AI 챗봇에 입력하는 정보가 비공개 일기가 아니라는 점을 다시 한번 상기시켜 준다.
핵심 포인트
- 플로리다주 보니타 스프링스 거주 Carli Michelle Heller가 9월 26일 Claude에 셰리프 사무소 공격 계획을 작성한 혐의를 받음
- 앤스로픽의 안전 시스템이 해당 내용을 감지해 인간 검토자에게 에스컬레이션했고, 검토자가 경찰에 신고
- Heller는 플로리다주 법령 836.10에 따라 폭력적 서면 위협 혐의(2급 중범죄)로 기소될 위기
- 앤스로픽은 사망이나 심각한 신체 부상 방지를 위해 필요하다고 판단될 경우 제한적으로 사용자 정보를 공유할 수 있다고 밝힘
향후 전망
- AI 챗봇의 안전 시스템과 사용자 프라이버시 간의 긴장 관계가 계속해서 법적·윤리적 논쟁을 불러일으킬 전망
- OpenAI가 캐나다 브리티시컬럼비아주와 플로리다주에서 유사한 소송에 직면한 것처럼, AI 기업의 위협 감지 및 신고 의무에 대한 법적 기준 마련 논의가 가속화될 가능성
원문:https://www.techspot.com/news/114091-florida-woman-used-claude-diary-anthropic-reported-shoot.html
출처:TechSpot (Hacker News)