AI 요약
AI 모델의 안전성과 정렬(alignment)을 평가하는 기술이 급격히 발전하고 있지만, 기업들은 자사 서비스의 특정 목적에 맞게 AI가 올바르게 작동하는지 검증하는 데 여전히 어려움을 겪고 있습니다. 이에 마이크로소프트는 2026년 6월 2일, 자연어 설명만으로 맞춤형 AI 동작 테스트를 구축할 수 있는 오픈소스 프레임워크인 'ASSERT(Adaptive Spec-driven Scoring for Evaluation and Regression Testing)'를 발표했습니다. ASSERT는 개발자가 일상적인 언어로 작성한 AI의 예상 동작과 정책을 구조화된 테스트 케이스로 변환하고, 이를 대상 시스템에 실행하여 점수를 매깁니다. 또한 AI가 수행한 중간 행동과 도구 호출 경로를 기록하여 오류 발생 지점을 명확히 진단할 수 있게 돕습니다. 마이크로소프트의 책임감 있는 AI 부문 최고 제품 책임자(CPO)인 세라 버드(Sarah Bird)는 신뢰할 수 있는 시스템 구축을 위해 애플리케이션 맞춤형 평가가 필수적이라고 강조했습니다. 이번 발표는 스탠포드의 HELM, MLCommons의 AILuminate 등 AI 성능 평가를 체계화하려는 업계 전반의 흐름과 궤를 같이합니다.
핵심 인사이트
- 마이크로소프트는 2026년 6월 2일, 자연어 기반의 AI 동작 평가 및 회귀 테스트 프레임워크인 ASSERT를 오픈소스로 공개했습니다.
- MS의 책임감 있는 AI 최고 제품 책임자(CPO)인 **세라 버드(Sarah Bird)**는 신뢰성 있는 AI 시스템 구축을 위해 애플리케이션 고유의 맥락을 반영한 다차원 평가의 중요성을 역설했습니다.
- 업계에서는 스탠포드 대학의 HELM, MLCommons의 AILuminate, 그리고 METR 등 평가 그룹들이 다양한 환경에서의 모델 행동을 측정하는 벤치마크를 잇달아 출시하며 정밀한 검증 체계로의 전환이 가속화되고 있습니다.
주요 디테일
- 동작 방식: ASSERT는 자연어로 기술된 목표나 규정을 입력받아, 허용 가능한 행동과 허용 불가능한 행동의 세트로 구조화한 뒤 자동으로 문제 시나리오 및 테스트 케이스를 생성합니다.
- 오류 추적 기능: 테스트 과정에서 AI 시스템이 거친 중간 행동 단계와 도구 호출(tool calls) 경로를 모두 기록하여 개발자가 실패가 발생한 정확한 시점을 진단할 수 있도록 지원합니다.
- 맞춤형 제약 조건 설정: 예를 들어 "문서 조사 AI 에이전트는 외부인에게 이메일을 발송해서는 안 되며, 기밀 정보는 C-레벨 임원에게만 제한하고 이전 맥락을 고려한 요약을 제공해야 한다"와 같은 세부 규칙을 설정하고 지속적으로 검증할 수 있습니다.
- 적용 단계: 이 프레임워크는 AI 시스템 개발 단계뿐만 아니라 배포 이후, 그리고 시스템의 지속적인 모니터링 단계까지 전 과정에 걸쳐 상시 활용할 수 있습니다.
향후 전망
- AI 모델이 고도화됨에 따라 단순 성능 측정을 넘어, 기업 고유의 비즈니스 규칙과 보안 정책 준수 여부를 지속적으로 점검하는 '회귀 테스트(Regression Testing)'가 AI 개발 프로세스의 필수 요소로 자리 잡을 것입니다.
- 개발자가 복잡한 코드를 직접 작성하지 않고 자연어 지침만으로 AI 에이전트의 오작동 방지벽을 신속하게 구축할 수 있게 됨으로써, 안전하고 신뢰할 수 있는 맞춤형 AI 서비스의 상용화 속도가 한층 빨라질 것으로 예상됩니다.