모티프, '승복' 9일 만에 '번복'···독파모 이의제기 셈법은

벤치마크 1위에도 최종 탈락···평가 근거 공개 요구한 모티프독파모 이후 자체 AI 사업 고려하면 '사용성 부족' 평가 부담

모티프테크놀로지스가 독파모 2차 평가 탈락을 받아들이겠다던 입장을 바꾸고 이의제기를 신청했다. 3차 평가에는 참여하지 않겠다고 선을 그은 가운데서도 평가 결과를 다시 문제 삼은 것은 향후 자체 인공지능(AI) 모델 사업까지 고려한 판단으로 풀이된다.

그래픽=이찬희 기자

28일 정보기술(IT) 업계에 따르면 모티프테크놀로지스가 독파모 사업의 추가 정예팀으로 선정된 뒤 개발한 AI 모델 '모티프3'는 글로벌 AI 종합 성능 지표(AAII)에서 47.4점으로 독파모 2차 평가에 참여한 4개 모델 가운데 가장 높은 점수를 기록했다. 업스테이지가 37점, SK텔레콤이 35점, LG AI연구원이 31점으로 뒤를 이었다. 그러나 지난 18일 공개된 독파모 2차 평가에서는 모티프가 최종 탈락했다.

이후 모티프는 입장문을 통해 ▲4개 정예팀의 평가 항목별 상세 점수 및 평가 내용 ▲글로벌 벤치마크 평가를 25점 만점으로 배정한 근거 ▲전문가 평가 상세 기준 및 항목별 평가 내용 ▲사용자 평가 방법론과 블라인드 평가 적용 여부 등을 공개할 것을 과학기술정보통신부에 요구했다.

모티프의 요구에 과기정통부는 지난 27일 2차 평가 세부 결과를 공개하는 것으로 대응했다. 당초 정부는 평가 결과 공개 시 탈락 기업에 낙인 효과를 줄 수 있고 직·간접적 피해로 이어질 수 있다는 점을 고려해 공개 범위를 제한해왔다. 그러나 모티프가 세부 결과 공개를 요청하자 다른 정예팀의 동의를 얻어 이례적으로 전체 점수를 결정했다.

공개된 성적표에는 모티프가 AAII에서만 앞선 것은 아니라는 점도 확인됐다. 벤치마크 전체 점수에서는 24.6점으로 4개 팀 가운데 1위였다. 반면 NIA 벤치마크에서는 12.7점으로 4위였고, 전문가 평가도 27.1점으로 최하위였다. 사용자 평가 역시 AI 전문 사용자 8.4점, 일반 국민 5.7점으로 모두 4위였다. 이 때문에 벤치마크에서 확보한 우위를 전문가·사용자 평가에서 잃으면서 최종 점수는 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점 순으로 뒤집혔다.

정부는 이번 평가가 특정 벤치마크 하나로 순위를 정하는 방식이 아니었다는 입장이다. 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점을 합산했고, 전문가 평가는 산업계·학계·연구계 외부 전문가 10명이 서면 평가와 질의응답을 통해 진행했다. 사용자 평가는 AI 스타트업 대표 49명과 일반 국민 185명이 참여했다. 또 평가 기준과 방식은 4개 정예팀과 사전 협의를 거쳐 확정했으며, 평가 전 최종안에 이견이 없었다고 설명했다.

그래픽=박혜수 기자

모티프가 이번 이의를 제기하는 과정에는 사업적 셈법이 작용한 것으로 보인다. 지난 18일 2차 평가 결과 발표 직후 임정환 모티프테크놀로지스 대표는 "결과를 받아들이며 이의 제기할 계획은 없다"고 밝혀왔다. 그러나 이후 과기정통부가 언론을 통해 모티프 모델의 추론 성능과 사용성이 미흡하다고 설명하자 재심의 요청으로 입장을 바꿨다. 당시 과기정통부는 모티프3가 벤치마크에서는 높은 점수를 받았지만 전문가·사용자 평가에서 사용성과 활용성이 상대적으로 낮았다고 설명했다.

모티프 입장에서 독파모 탈락은 단순한 문제가 아니다. 모티프는 지난 2월 독파모 추가 정예팀으로 선정된 뒤 768장의 B200 GPU를 지원받아 5개월간 모티프3 개발에 집중했다. 지난 5월에는 240억원 규모의 시리즈B 투자를 유치했다. 독파모를 통해 자체 프론티어 모델의 경쟁력을 입증하는 데 상당한 자원을 투입한 셈이다. 다만 이후에도 자체 모델을 중심으로 사업을 이어가야 하는 상황에서 정부 평가에서 '사용성과 활용성이 낮다'는 평가를 받은 것은 부담으로 작용할 수 있다.

특히 모티프는 이번 이의제기 결과와 관계없이 3차에는 참여하지 않겠다고 선을 그었다. 회사 역시 이번 이의제기가 선정 결과를 뒤집기 위한 것이 아닌 평가 과정과 결과에 대한 문제 제기라는 점을 강조했다. 결국 모티프가 얻으려는 것은 독파모 정예팀 지위 자체보다 자사 모델에 내려진 평가에 대한 설명과 향후 사업에서 이를 둘러싼 불확실성을 줄이는 것이라는 해석이 가능하다.

일각에서는 모티프의 이의제기에 실익이 크지 않다는 의견도 있다. 이미 3차 평가에 참여하지 않겠다고 선언한 마당에 정부와 정면으로 맞설 경우 오히려 향후 사업에 부담이 될 수 있다는 이유에서다. 한 업계 관계자는 "정부와 각을 세우는 모습이 향후 사업에 도움이 될지는 의문"이라고 말했다. 과기정통부는 정식 절차에 따라 이의신청을 처리하고 15일 이내 결정을 내리겠다고 밝혔다.