정부가 추진하는 ‘독자 인공지능(AI) 파운데이션 모델’ 프로젝트의 2차 단계평가에서 업스테이지, SK텔레콤, LG AI연구원 정예팀이 다음 단계 진출팀으로 선정됐다. 글로벌 성능평가에서 참여 모델 가운데 가장 높은 점수를 받은 모티프테크놀로지스 정예팀은 벤치마크와 전문가·사용자 평가를 합산한 종합평가 결과 다음 단계에 진출하지 못했다.
과학기술정보통신부와 정보통신산업진흥원(NIPA)은 지난 18일 이 같은 평가 결과를 발표했다. 평가 대상은 모티프테크놀로지스의 ‘Motif 3’, 업스테이지의 ‘Solar Open2’, SK텔레콤의 ‘A.X K2’, LG AI연구원의 ‘K-EXAONE 2.0’ 등 4개 모델이다.
성능·기술·사용성 함께 본 2차 평가
2차 단계평가는 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 구성됐다. 모델의 정량적 성능뿐 아니라 기술 개발 성과와 계획, AI 생태계 기여도, 실제 사용성까지 함께 평가하는 체계다.
벤치마크 평가에는 글로벌 AI 모델 분석기관 Artificial Analysis의 AAII 25점과 한국지능정보사회진흥원(NIA) 벤치마크 15점이 반영됐다. AAII는 추론과 지식, 수학, 코딩, 장문 처리 등 여러 평가 결과를 종합해 모델 성능을 측정한다.
NIA 벤치마크는 수학, 지식, 장문 이해, 신뢰성, 안전성 등 국내 AI 정책과 산업 환경에 필요한 영역을 평가했다. 평가 문항과 정답은 외부 유출과 학습 데이터 오염을 막기 위해 비공개로 관리됐다. 다만 세부 문항이 공개되지 않아 외부에서 결과를 독립적으로 검증하는 데에는 한계가 있다.
전문가 평가에서는 독자 기술 개발 성과와 계획에 각각 10점, 국내 AI 생태계 파급효과에 15점이 배정됐다. 1차 평가와 비교하면 개발 성과·계획의 배점은 15점에서 10점으로 줄고 생태계 파급효과는 10점에서 15점으로 늘었다.
사용자 평가는 전문 사용자만 참여했던 1차 평가와 달리 일반 국민 평가가 추가됐다. 전문 사용자 평가에는 15점, 일반 국민 평가에는 10점이 배정됐다. AI 스타트업 대표 등을 포함한 전문 사용자 49명과 일반 국민 185명은 정예팀별 AI 모델이 적용된 웹사이트를 직접 이용한 뒤 모델의 사용성을 5점 척도로 평가했다.
AAII 최고점과 최종 진출 결과 엇갈려
4개 팀의 평가 부문별 평균은 벤치마크 22.5점, 전문가 평가 28.8점, 사용자 평가 17.6점이었다. 최고점과 최저점의 차이는 벤치마크 4점, 전문가 평가 2.4점, 사용자 평가 5점으로 나타났다.
종합평가 결과 업스테이지와 SK텔레콤, LG AI연구원이 다음 단계 진출팀으로 선정됐다. 반면 AAII에서 47점을 받아 4개 모델 가운데 가장 높은 점수를 기록한 모티프테크놀로지스는 진출 명단에 포함되지 않았다.
벤치마크 평가가 전체 배점의 40%이고 전문가·사용자 평가가 60%를 차지한 만큼 AAII 점수와 최종 결과가 일치하지 않을 수 있다. 다만 과기정통부가 팀별 종합점수와 세부 평가점수를 공개하지 않아 어떤 평가 요소가 최종 순위에 영향을 미쳤는지는 확인하기 어렵다.
국내 4개 모델, AAII서 미스트랄·코히어 웃돌아
과기정통부가 8월 18일 발표한 자료에 따르면 AAII 점수는 Motif 3가 47점으로 가장 높았다. Solar Open2는 37점, A.X K2는 35점, K-EXAONE 2.0은 31점을 기록했다.
같은 AAII에서 프랑스 미스트랄AI의 ‘Mistral Medium 3.5’는 30점, 캐나다 코히어의 ‘Command A+’는 23점으로 집계됐다. 국내 평가 대상 모델 4종이 유럽과 캐나다의 주요 공개형 AI 모델보다 높은 점수를 기록한 셈이다.
Mistral Medium 3.5와 Command A+는 각각 미스트랄AI와 코히어가 개발한 기업용 모델로, 상용 서비스와 기업 시스템 구축 등에 활용된다. 이번 비교에서는 모델 규모나 출시 시점, 운영비용이 아니라 동일 기관이 산출한 AAII 점수를 기준으로 삼았다.
AAII는 추론과 지식, 수학, 코딩 등 모델의 정량적 성능을 비교하는 지표다. 응답 속도와 운영비용, 라이선스, 보안, 실제 서비스 안정성까지 포괄하는 지표는 아니므로 산업 경쟁력을 판단할 때는 다른 요소도 함께 살펴야 한다.
Motif 3는 과기정통부 발표일 기준 Artificial Analysis의 기업별 최고점 모델 목록에서 10위에 올랐다. 미국과 중국 기업을 제외한 모델 가운데서는 가장 높은 순위다. 다만 평가 점수와 순위는 새로운 모델과 시험 결과가 추가되면서 바뀔 수 있다.
과기정통부는 4개 모델 모두 AI 연구기관 에포크AI(Epoch AI)의 ‘주목할 만한 AI 모델’ 목록에 등재됐다고 밝혔다. 이는 국내 모델이 해외 AI 연구·평가 기관의 분석 대상에 포함될 만큼 기술적 존재감을 넓혔다는 의미가 있다.
진출 3팀은 산업 실증, 모티프는 독자 기술 부각
업스테이지는 Solar Open2를 포털 다음과 업무 생산성 서비스 타임리 등에 적용하고 퓨리오사AI의 신경망처리장치(NPU)에서 구동하는 실증을 진행했다. Solar Open2는 전체 2,500억개, 토큰당 활성 매개변수 150억개 규모의 전문가 혼합(MoE) 구조와 최대 100만 토큰의 문맥 처리 기능을 갖췄다. 업스테이지는 엔비디아 H200 GPU 2장에서도 구동할 수 있다고 설명했다. 실제 서비스 비용과 처리 성능은 양자화 방식과 배치 크기, 입력 길이 등 운영 조건에 따라 달라질 수 있다.
SK텔레콤의 A.X K2는 한국어와 수학 추론, 기업용 활용에 초점을 맞췄다. 과기정통부에 따르면 A.X K2는 MathArena의 AIME 2026 평가에서 97.1점을 받아 공동 1위에 올랐다. SK텔레콤은 국방과 제조, 법률, 세무 등 분야별 실증 사례도 공개했다.
LG AI연구원의 K-EXAONE 2.0은 한국어와 영어를 비롯한 10개 언어와 도구 활용형 에이전틱 AI 기능을 지원한다. 신뢰성과 위험 관리 기능도 주요 특징으로 제시됐다. 과기정통부는 공개 당시 Artificial Analysis의 비환각 평가인 AA-Omniscience에서 9위를 기록했다고 밝혔다. LG AI연구원은 모델 가중치를 Apache 2.0 라이선스로 공개했지만 실질적인 개방성은 학습 데이터와 학습 코드, 기술 문서의 공개 범위까지 함께 살펴볼 필요가 있다.
다음 단계 진출에는 실패한 모티프테크놀로지스도 자체 모델 아키텍처와 토크나이저, 최적화 기법, 연산 커널을 개발하며 독자 기술력을 인정받았다. 공식 모델 카드에 따르면 Motif 3는 전체 매개변수 3,140억개, 토큰당 활성 매개변수 132억개 규모의 MoE 모델이다. 가중치는 MIT 라이선스로 공개됐으며 기술 보고서도 함께 제공됐다.
하반기 B200 1,000장 지원…산업 확산이 다음 과제
이번 평가에서는 국내 AI 모델의 글로벌 벤치마크 성능 향상과 함께 산업 적용 가능성, 개발자 생태계 기여도, 실제 사용자 경험이 주요 평가축으로 자리 잡았다.
국가 AI 경쟁력은 개별 모델의 벤치마크 점수만으로 결정되지 않는다. 연구개발 역량과 연산 인프라, 산업 현장의 도입 사례, 이용자 기반, 개발자 생태계가 함께 뒷받침돼야 한다. 국내 모델들이 해외 주요 공개형 모델과의 성능 격차를 줄인 만큼 실제 서비스에서 비용과 안정성, 활용성을 입증하는 일이 다음 과제로 남았다.
정부는 다음 단계에 진출한 3개 팀을 대상으로 컴퓨팅 인프라 지원을 이어갈 계획이다. 과기정통부는 올해 하반기 팀별 엔비디아 B200 GPU 지원 규모를 당초 768장 수준에서 1,000장 수준으로 확대할 방침이다.
향후 평가에서는 모델의 추가 성능 개선뿐 아니라 산업별 실증 성과와 이용 확산, 개발자 생태계 활성화 여부가 더욱 중요해질 전망이다. 정부는 단계평가를 거쳐 최종 독자 AI 파운데이션 모델을 선정할 예정이다.
자료 출처: 과학기술정보통신부·정보통신산업진흥원 2026년 8월 18일 보도자료, 과학기술정보통신부 2026년 7월 28일 자료, Artificial Analysis Intelligence Index, Mistral Medium 3.5 평가, Command A+ 평가, Mistral AI 기업 정보, Cohere 기업 정보, Motif 3 모델 카드
댓글
0