Motif Technologies가 개발한 Motif 3는 과학기술정보통신부의 독자 AI 파운데이션 모델 2차 단계평가에서 Artificial Analysis Intelligence Index (AAII) 47점을 기록했다. 정예팀 모델 가운데 가장 높은 점수였지만 다음 단계 진출팀에는 포함되지 않았다.
AAII는 전체 종합평가 100점 가운데 25점이 배정된 항목이었다. 다음 단계 진출팀은 NIA 벤치마크 15점과 전문가 평가 35점, 사용자 평가 25점을 합산한 종합점수로 결정됐다. 과기정통부는 팀별 항목 점수를 공개하지 않았기 때문에 Motif 3의 종합평가 결과를 특정 기술이나 평가 항목과 연결하기는 어렵다.
이번 편에서 주목할 부분은 평가 결과의 원인을 추정하는 것이 아니라 Motif 3가 어떤 기술적 방향으로 설계됐는지다. Motif Technologies는 자체 모델 구조와 커널·런타임·서빙 최적화, GPU 클러스터 운영을 포괄하는 풀스택(Full-stack) AI를 회사의 방향으로 제시하고 있다. Motif 3에는 이러한 연구 방향이 세분화된 혼합전문가모델(Mixture of Experts·MoE)과 자체 어텐션 구조, 저정밀 연산 및 분산학습 기술로 구체화됐다.
314B 가운데 토큰당 약 13.2B 활성화
Motif 3는 총 314B개의 매개변수를 갖춘 Decoder-only MoE 모델이다. 53개 Transformer 계층 가운데 처음 2개는 모든 입력에 같은 연산을 적용하는 밀집형(Dense) 계층이며 나머지 51개는 입력에 따라 일부 하위 신경망을 선택하는 MoE 계층으로 구성됐다.
각 MoE 계층에는 384개의 하위 신경망이 배치됐다. 모델은 입력 토큰마다 이 가운데 8개와 모든 입력에 공통으로 참여하는 하위 신경망 하나를 선택한다. 전체 매개변수는 314B지만 토큰을 처리할 때 활성화되는 매개변수는 약 13.2B다. 전체 모델의 표현 범위를 확장하면서 입력 처리에 참여하는 연산량을 조절한 구조다.
세분화된 MoE를 안정적으로 학습하려면 특정 하위 신경망에 입력이 몰리지 않도록 부하를 분산해야 한다. 여러 GPU 사이에서 입력과 연산 결과를 주고받는 과정도 관리해야 한다. Motif Technologies는 Sigmoid 기반 라우팅과 부하분산 기법, 학습 초기의 라우터 노이즈 조절, 하위 신경망의 작동 상태를 확인하는 모니터링을 적용했다고 설명했다.
전체 규모와 활성 규모의 차이가 크다고 해서 Motif 3를 13.2B 밀집형 모델과 같은 비용으로 실행할 수 있는 것은 아니다. 전체 314B 가중치를 저장하고 여러 GPU에 배치해야 하며 MoE 라우팅과 GPU 간 통신에도 자원이 필요하다. 다른 모델보다 빠르거나 저렴한지는 동일한 하드웨어와 실행 조건에서 측정한 자료를 통해 별도로 확인해야 한다.
GDLA로 긴 문맥과 메모리 부담 함께 다뤄
Motif 3의 중심에는 Motif Technologies가 설계한 GDLA (Grouped Differential Latent Attention)가 있다. 긴 입력에서 관련성이 낮거나 중복된 정보의 영향을 줄이는 Differential Attention과 이전 토큰의 정보를 압축해 저장하는 Multi-head Latent Attention (MLA)을 결합한 구조다.
언어모델은 답변을 생성하면서 앞서 입력된 정보의 Key와 Value를 KV 캐시에 저장한다. 처리하는 문서와 대화가 길어질수록 KV 캐시가 커져 GPU 메모리 사용량도 늘어난다. GDLA는 필요한 정보에 선택적으로 주의를 기울이면서 KV 정보를 압축해 긴 컨텍스트를 처리할 때 발생하는 메모리 부담을 줄이는 방향으로 설계됐다.
Motif Technologies가 약 10B 규모 모델을 이용해 진행한 통제실험에서는 GDLA가 비교 대상인 MLA보다 학습손실 3.2에 도달하는 데 필요한 토큰을 9.2% 줄였다. 이는 GDLA의 학습 효율을 살펴보기 위해 약 10B 규모 모델로 진행한 비교 결과이며 314B 완성 모델 전체를 같은 조건에서 비교한 수치는 아니다.
모델은 입력 전체를 보는 어텐션 계층 하나와 128개 토큰 범위를 처리하는 슬라이딩 윈도 어텐션(Sliding-window Attention) 계층 세 개를 반복해서 배치했다. 최대 컨텍스트 길이는 256K 토큰이다. 모든 계층에서 입력 전체를 반복해 참조하지 않고 전체 문맥을 보는 계층과 가까운 범위를 처리하는 계층을 조합했다.
자체 토크나이저와 일곱 개 교사 모델 결합
Motif 3는 약 12.5조개 토큰으로 사전학습됐다. 학습자료에는 웹 문서와 과학·기술·공학·수학(STEM), Source Code, 수학, 다국어, 한국어, 법률·금융 분야 자료가 포함됐다. 기술보고서에 따르면 공개된 NVIDIA Nemotron 계열 자료가 전체 사전학습 자료의 약 70%를 차지하며 나머지는 자체 수집·가공한 자료를 중심으로 구성됐다.
토크나이저도 별도로 학습했다. Vocabulary 크기는 22만160개이며 SuperBPE 방식을 이용해 ‘of the’나 ‘수 있다’처럼 자주 함께 쓰이는 표현을 하나의 단위로 처리할 수 있도록 했다.
회사의 약 23MB 자체 평가자료에서는 Motif 3 토크나이저가 한국어와 영어, Code, 수학에서 비교 대상 토크나이저보다 같은 수의 토큰에 더 많은 Byte를 담았다. 한국어 결과는 토큰당 5.31Byte로 Qwen3.5의 4.03Byte, Gemma-4의 3.73Byte보다 높았다.
이 수치는 같은 문장을 표현하는 데 필요한 토큰 수를 줄일 가능성을 보여준다. 다만 회사가 구성한 제한된 평가자료에서 나온 결과이므로 전체 학습자료와 실제 서비스 입력에서도 같은 차이가 나타나는지는 별도의 검증이 필요하다. 서비스 비용 역시 토큰 수뿐 아니라 출력 길이와 처리속도, GPU 구성의 영향을 함께 받는다.
사후학습에서는 분야별 능력을 강화한 일곱 개 교사 모델을 활용했다. 여섯 개 모델은 도구 사용과 전문 업무, 장문 처리와 응답 유보, 수학, Code·과학, 일반 대화 등의 능력을 강화학습으로 익혔다. Software Engineering 교사 모델은 지도학습으로 개발됐다. 이후 Multi-teacher On-Policy Distillation (MOPD)을 통해 여러 교사 모델의 능력을 하나의 Motif 3로 통합했다.
도구 사용과 장기 업무 수행에서 강점
Motif Technologies가 기술보고서에 공개한 평가 결과를 보면 Motif 3의 강점은 도구를 사용하며 여러 단계를 이어가는 Agentic 작업에서 상대적으로 뚜렷하게 나타났다.
통신 분야의 업무 수행을 평가하는 τ²-Bench Telecom에서 94.7점, 은행 업무를 다루는 τ³-Banking에서 35.3점을 기록했다. 실제 Software 문제 수정을 평가하는 SWE-bench Verified에서는 76.2점, Terminal 환경의 작업 수행을 평가하는 Terminal-Bench 2.1에서는 74.9점을 받았다. 긴 문맥 추론을 살피는 Artificial Analysis Long Context Reasoning 결과는 72.3점이었다.
모든 평가에서 비교 모델을 앞선 것은 아니다. 과학 분야 Coding을 평가하는 SciCode와 수학적 임계점 문제를 다루는 CritPt에서는 기술보고서에 함께 제시된 최상위 비교 모델보다 낮았다. Motif 3의 결과는 전 영역의 우위보다 도구 사용과 Software 작업, 여러 단계가 이어지는 업무에서 나타난 성능을 중심으로 볼 필요가 있다.
Artificial Analysis의 AAII 평가에서는 약 2억6000만개의 출력 토큰을 사용했다. 같은 비교군의 중앙값인 약 1억개보다 많은 규모다. 복잡한 문제에서 긴 추론을 사용하는 성향을 보여주는 결과로 볼 수 있지만 공개된 API 가격과 처리속도 자료가 없어 성능 대비 운영비용까지 비교하기는 어렵다.
모델 구조에서 GPU 실행 최적화까지 연결
Motif 3 기술보고서는 모델 구조뿐 아니라 대규모 학습과 실행을 위한 시스템 최적화도 함께 다룬다. 일부 연산과 GPU 간 통신에는 MXFP8을 적용하고 학습 안정성에 중요한 값은 FP32로 유지했다. PolyNorm과 FP8 추론에는 여러 연산을 한 번에 수행하는 Fused Kernel을 개발했으며 256K 컨텍스트 학습을 위한 병렬처리 방식도 적용했다.
Motif 3의 공개된 학습환경은 NVIDIA B200 GPU를 기준으로 한다. 모델카드의 실행 예시는 H200 또는 B200 GPU 8장과 Motif Technologies가 수정한 vLLM 환경을 사용한다.
모회사 Moreh는 AMD와 NVIDIA, Tenstorrent 등 여러 가속기를 지원하는 인프라 소프트웨어를 개발하고 있다. 다만 공개자료만으로 Motif 3가 이들 하드웨어에서 모두 같은 방식으로 실행된다고 판단할 수는 없다. Motif 3의 확인된 실행 조건과 Moreh의 이기종 가속기 사업 방향은 구분해서 볼 필요가 있다.
국내 2차수 모델은 모두 성능과 효율, 산업 활용을 함께 추구하지만 공개자료에서 상대적으로 강조하는 지점에는 차이가 있다. Solar Open 2는 기업 문서 업무와 100만 토큰 컨텍스트의 처리 효율을, A.X K2는 통신·공공·산업 서비스 확산을, K-EXAONE 2.0은 다국어와 장문·안전성 및 산업 활용을 강조했다. Motif 3는 자체 모델 구조와 학습·추론 소프트웨어를 함께 개발한 과정을 전면에 제시했다.
MIT 라이선스로 공개…상용화 검증은 남아
Motif Technologies는 Motif 3 지시 조정 모델과 사전학습 단계의 Base 모델, NVFP4 양자화 모델을 MIT 라이선스로 공개했다. 토크나이저와 Custom Model Code, 학습 예제, 모델카드와 기술보고서도 함께 제공한다. 상업적 이용과 수정·재배포가 가능한 공개 방식이다.
회사는 별도로 ChatMotif와 Open API, 산업 특화 AI, AI Monitoring·Control, 비용절감 인프라를 사업영역으로 제시하고 있다. 모델과 운영 인프라를 함께 제공하는 풀스택 방향은 확인되지만 Motif 3의 API 가격과 처리속도, 기업 적용사례는 아직 구체적으로 제시되지 않았다. 공개 모델이 실제 사업과 어떻게 연결되는지는 이후 적용사례를 통해 살펴볼 부분이다.
Motif 3가 보여준 성과는 314B라는 숫자에만 있지 않다. 자체 어텐션 구조와 세분화된 MoE, 토크나이저, 저정밀 연산과 분산학습 기술을 하나의 모델에 적용하고 기술보고서와 가중치를 공개했다. Motif 3는 자체 모델 구조와 대규모 학습·추론 최적화를 함께 개발하는 Motif Technologies의 풀스택 연구 방향을 보여준다.
출처=Motif 3 기술보고서·Motif 3 모델카드·Motif Technologies 기업 소개·Moreh 기업 소개·Artificial Analysis Motif 3 평가·Solar Open 2 모델카드·A.X K2 모델카드·K-EXAONE 2.0 모델카드
댓글
0