▲ 테스트뮤 AI 로고 [출처=테스트뮤 AI]

미국 인공지능(AI) 기업인 테스트뮤 AI(TestMu AI)에 따르면 2026년 10월28일 에이전트 어슈어런스(Agent Assurance)를 정식으로 출시를 발표했다.

에이전트 어슈어런스는 도구 호출, 파일 작성, 기록 변경과 같은 작업을 수행하는 AI 에이전트를 테스트한다. 이 테스트는 에이전트가 수행했다고 주장하는 내용이 아니라 실행 과정에서 실제로 변경된 내용을 확인한다.

모든 팀은 데모 예약 없이도 테스트뮤 AI 계정을 생성하고 자체 에이전트를 대상으로 테스트를 수행할 수 있다.

에이전트 어슈어런스는 대기자 명단과 안내식 온보딩 세션 기반으로 2026년 8월 17일에 출시됐다. 그 이후로 에이전트 어슈어런스를 실행하는 CLI인 루크(Rook)는 초기 팀의 피드백을 반영하여 꾸준히 릴리스를 출시해 왔다.

에이전트 평가는 주로 최종 답변을 기준으로 이루어지는데, 그 답변이 에이전트 자체의 업무에 대해 잘못된 정보를 제공할 수도 있다.

CX벤치(CXBench)에서 2026년 10월에 발표한 내용을 따르면 올바른 결과를 도출한 실행의 80.1%가 여전히 프로세스 검사에 실패했다. 2가지 검사를 모두 통과한 경우는 13.8%에 불과했다.

잘못된 도구를 사용하거나 필수 단계를 건너뛴 에이전트라도 성공으로 보고할 수 있다. 그렇기 때문에 에이전트 어슈어런스는 최종 판정을 내리기 전에 실행의 영향을 검사한다.

여기에는 팀이 연결한 후크를 통해 보고된 에이전트가 수행한 도구 호출과 변경된 레코드, 메시지 및 아티팩트가 포함된다. 관찰할 수 없는 모든 항목은 ‘확인 불가’로 보고되며, ‘통과’로 보고되는 경우는 절대 없다.

테스트뮤 AI의 공동 창립자 겸 제품 책임자인 마얀크 볼라(Mayank Bhola)는 에이전트 어슈어런스의 정식 출시에 대해 “에이전트가 작업을 완료했다고 말하더라도 여전히 작업이 잘못되었을 수 있다.

에이전트 어슈어런스는 답변을 평가하지 않고 해당 실행이 무엇을 변경했는지를 평가한다. 판단할 수 없을 때는 그렇다고 명확하게 알려준다. 그렇기 때문에 ‘확인 불가’는 절대 통과로 간주되지 않는다.

추측이 수반된 통과율은 아예 수치가 없는 것보다 더 나쁘다. 팀들은 그 수치를 바탕으로 배포를 결정하기 때문이다. 초기 팀들은 가장 어려운 단계가 첫 실행에 이르는 것이라고 말했기 때문에 우리는 영업 전화 단계를 없앴다.