요약
류제명 과학기술정보통신부 2차관이 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션모델 프로젝트 2차 단계평가 결과 브리핑을 하고 있다. 연합뉴스‘독자 인공지능 파운데이션 모델(독파모)’ 2차 평가에서 탈락한 모티프테크놀로지스가 결과에 이의를 제기하고 정부에 공식적으로 재심사를 요구했다. 글로벌 벤치마크 평가에서 최고 점수를 받고도 전체 4위를 기록해···
본문
류제명 과학기술정보통신부 2차관이 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션모델 프로젝트 2차 단계평가 결과 브리핑을 하고 있다. 연합뉴스
‘독자 인공지능 파운데이션 모델(독파모)’ 2차 평가에서 탈락한 모티프테크놀로지스가 결과에 이의를 제기하고 정부에 공식적으로 재심사를 요구했다. 글로벌 벤치마크 평가에서 최고 점수를 받고도 전체 4위를 기록해 탈락한 것이 납득하기 어렵다는 취지다. 정부는 인공지능(AI) 업계 최신 흐름을 반영해 평가 체계를 손질하는 방향을 검토하기로 했다.
모티프는 27일 입장문을 내고 “AI 모델의 본질적 성능 향상이 독파모 사업의 목표에 가장 부합한다고 생각한다”면서 “이번 심사 결과와 현재 이뤄지는 3차 평가 방향에 대한 논의가 독파모 사업이 추구해야 할 본래 목표와 충분히 부합하는지 이의를 제기한다”고 밝혔다.
쟁점은 벤치마크 성능과 최종 평가 결과의 괴리다. 모티프는 글로벌 AI 종합평가인 AAII에서 47점으로 독파모 4개 모델 중 1위를 기록했다. 업스테이지는 37점, SK텔레콤은 35점, LG AI연구원 31점이었다. 하지만 벤치마크·전문가·사용자 평가를 합친 최종 평가에서는 모티프가 최하위로 탈락했다. 모티프는 “평가 결과 자체는 존중하고 받아들였지만, 언론을 통해 과기정통부는 모티프3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다”며 “일부 언론에 보도된 과기정통부 고위 관계자 발언에서는 모티프3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다”고 주장했다.
정부는 AAII만으로 모델을 평가하지 않았다는 입장이다. 평가 기준에 따른 점수 배점은 벤치마크 40점(AAII 25점·NIA 15점), 전문가 35점, 사용자 25점이었다. 모티프는 AAII 부문 25점 중 11.9점으로 1위였다. 하지만 전문가 평가는 LG AI연구원, 전문 사용자 평가는 SKT, 일반 국민 평가는 LG가 각각 1위를 기록했다. 정부는 모티프가 기술력은 뛰어나지만 사용성·활용성에서 상대적으로 낮은 평가를 받았다고 설명했다.
모티프는 평가 방식 자체에 문제를 제기하고 있다. 파운데이션 모델은 챗봇의 사용성이 아니라 여러 서비스로 확장할 수 있는 ‘기반 성능’을 중심으로 평가해야 한다는 것이다. 또 구체적인 평가 기준 공개와 평가 결과 재심의를 요구했다.
한 업계 관계자는 “AI 모델마다 잘하는 영역이 다르기 때문에 누구나 동의할 객관적인 지표를 만들기가 쉽지 않은 측면이 있다”면서 “향후 평가에서도 비슷한 논란이 나올 수 있어 정부 입장에서도 고심이 클 것”이라고 했다.
정부는 모티프의 이의신청을 15일 이내 심의하고, 전체 세부점수 공개 범위도 재검토하기로 했다. 향후 3차 평가에서는 기술 트렌드에 맞춘 ‘유연한 기준’을 적용할 방침이다. 에이전틱 AI나 고난도 추론·코딩 능력 등에 대한 평가가 강화될 것으로 보인다.
배경훈 부총리 겸 과학기술정보통신부 장관은 이날 제2차 ‘과학기술·인공지능 미래전략회의’에서 “1년 반 전 수립된 평가나 경쟁 방식이 3~6개월 단위로 급변하는 AI 트렌드에 여전히 유효한 지 근본적인 고민이 필요하다”면서 “(독파모) 평가 제도 보완을 검토할 것”이라고 했다.