▲ 허깅페이스에 공개된 트루벤치(TRUEBench) 사이트 메인 화면 [출처=삼성전자]삼성전자(회장 이재용)에 따르면 자체 개발한 인공지능(AI) 업무 생산성 벤치마크 ‘트루벤치(TRUEBench, Trustworthy Real-world Usage Evaluation Benchmark)’를 공개했다.‘트루벤치’는 삼성전자 DX 부문 선행 연구개발 조직인 삼성리서치가 사내 생성형 AI 모델 적용 경험을 바탕으로 개발한 벤치마크로 AI 모델의 업무 생산성 성능을 평가한다.삼성전자는 많은 기업들이 업무 전반에 AI를 도입하고 있지만 기존 벤치마크로는 AI 모델의 업무 생산성 성능을 정확히 측정하기 어렵다는 점에 주목했다.실제 시중에 공개된 대부분의 AI 벤치마크는 영어를 중심으로 연속 대화가 아닌 한번 혹은 제한된 횟수로 대화를 평가하고 있다.이번에 삼성전자가 공개한 ‘트루벤치’는 기존 벤치마크와 차별화해 업무 생산성에 대한 집중 평가를 진행하는 것이 특징이다. 실제 평가 항목은 10개 카테고리, 46개 업무, 2485개의 세분된 항목으로 구성돼 있다.평가 항목은 기업에서 자주 사용하는 콘텐츠 생성, 데이터 분석, 문서 요약 및 번역, 연속 대화 등 실제 오피스 업무에서 활용되는 체크 리스트를 기반으로 완성됐다.◇ 폭넓은 데이터 기반의 세밀한 평가 결과, 다국어 지원으로 차별화‘트루벤치’는 총 2485개의 평가 기준으로 사용자의 짧은 요청부터 최대 2만 자의 긴 문서 요약까지 실제 업무 상황을 폭넓게 평가하게 된다.평가 결과도 기존 벤치마크와 차별화했다. 사용자는 한 번에 최대 5개 모델을 선택해 비교할 수 있어 다양한 AI 모델의 성능을 한눈에 파악할 수 있다. 응답 결과에 대한 평균 길이 등도 공개해 성능과 효율성 지표를 동시에 비교할 수 있다.전체 평가 점수뿐만 아니라 10개 카테고리에 대한 세부 항목별 점수도 공개해 기존 벤치마크보다 세밀한 평가 결과를 확인할 수