과학기술정보통신부의 독자 AI 파운데이션 모델 프로젝트 2차 단계평가에서 업스테이지가 다음 단계 진출팀으로 선정됐다. 평가에 제출한 Solar Open 2는 전체 2500억개 매개변수를 갖춘 대규모 언어모델이다. 최대 100만 토큰의 문맥을 처리하고 검색과 코딩, 문서 작성에 필요한 외부 도구를 이용하도록 설계됐다.
2500억개라는 숫자만 보면 성능이 높아진 만큼 운영비도 크게 늘어나는 모델로 보인다. 그러나 Solar Open 2는 질문을 받을 때 전체 매개변수를 모두 계산하지 않는다. 여러 하위 신경망 가운데 필요한 일부를 골라 사용하는 Mixture of Experts(MoE) 구조와 모델을 가볍게 만드는 양자화 기술을 함께 적용했다.
핵심은 거대한 모델을 만들었다는 사실보다 이를 실제 서비스에서 감당할 수 있는 비용으로 운영할 수 있느냐다. Solar Open 2의 구조와 경량 모델, 업스테이지가 확보한 서비스 경로를 따라가면 이 모델의 상용화 가능성과 앞으로 확인해야 할 조건을 함께 볼 수 있다.
250B 모델이지만 매번 계산하는 것은 15B
Solar Open 2에는 약 250B, 우리 숫자로 2500억개의 매개변수가 들어 있다. 매개변수는 AI가 학습 과정에서 얻은 지식과 언어 처리 규칙을 담는 숫자값이다. 일반적으로 매개변수가 많아지면 더 다양한 정보를 담을 수 있지만 저장공간과 계산비용도 커진다.
Solar Open 2는 이 부담을 줄이기 위해 MoE 구조를 사용한다. MoE에서 expert는 특정 입력을 처리하도록 나뉜 하위 신경망을 뜻한다. 한 회사가 모든 직원을 매번 한 업무에 투입하지 않고 업무에 맞는 담당 부서를 부르는 것과 비슷하다.
모델에는 입력에 따라 선택되는 routing expert 320개와 모든 입력에 공통으로 참여하는 shared expert 1개가 배치됐다. 문장을 구성하는 토큰 하나를 처리할 때 라우터가 320개 가운데 8개를 고른다. 이 때문에 모델이 보유한 전체 매개변수는 250B지만 한 토큰을 계산할 때 활성화되는 규모는 약 15B다.
다만 이를 15B 모델과 같은 장비에서 운영할 수 있다는 의미로 받아들여서는 안 된다. 계산에는 일부 expert만 참여하더라도 서버는 선택되지 않은 expert를 포함한 전체 가중치를 저장하고 있어야 한다. Solar Open 2의 상용화에서는 계산량과 함께 전체 모델을 GPU 메모리에 어떻게 올릴지도 중요하다.
100만 토큰, 긴 업무기록을 이어서 처리
Solar Open 2가 지원하는 최대 컨텍스트는 1M, 즉 100만 토큰이다. 컨텍스트는 AI가 한 번의 작업에서 참고할 수 있는 입력과 대화 기록의 범위다. 범위가 넓으면 긴 보고서와 여러 문서를 함께 읽거나, 오랜 시간 진행되는 업무의 앞선 지시와 결과를 다시 참고하는 데 유리하다.
기존 Attention 방식은 문맥이 길어질수록 메모리 사용량과 계산량이 빠르게 증가한다. 업스테이지는 정보 탐색에 강한 Softmax Attention과 장문 처리 부담을 낮춘 Linear Attention을 결합해 이를 보완했다. 긴 자료에서 필요한 내용을 찾는 능력을 유지하면서 처리 부담을 낮추려는 설계다.
10.7B에서 250B까지 이어진 SOLAR 개발
업스테이지는 SOLAR 계열을 개발하며 모델 확장 기술을 축적해 왔다. 초기 SOLAR 10.7B의 확장 방법을 다룬 연구는 NAACL(North American Chapter of the Association for Computational Linguistics) 2024 Industry Track에 게재됐다. 독자 AI 프로젝트 1차 모델인 Solar Open은 전체 102B 중 12B를 활성화하고 최대 128K 토큰을 처리했다. Solar Open 2는 이를 전체 250B와 활성 15B, 최대 1M 토큰으로 확장했다.
학습 목표도 질문에 답하는 챗봇에서 실제 업무를 수행하는 AI 에이전트로 넓혔다. 외부 도구 호출과 데이터베이스 작업, 코드 작성·테스트, 문서와 스프레드시트 생성 등을 학습에 포함했다. 업스테이지 연구진은 사용자가 요구사항을 단계적으로 제시하고 결과에 피드백하는 장기 대화 학습 방식도 별도 논문으로 공개했다. 해외 학술활동과 SOLAR 계열의 변화는 대형 모델과 에이전트 기술을 함께 축적해 온 흐름을 보여준다.
H200 2장 구동은 양자화 모델의 조건
Solar Open 2 원본 모델의 BF16 가중치 용량은 약 500.6GB다. 공식 모델카드가 제시한 최소 구동환경은 NVIDIA H200 4장이고 권장환경은 8장이다. 업스테이지가 밝힌 H200 2장 구동은 원본이 아니라 가중치가 차지하는 용량을 줄인 양자화 모델을 전제로 한다.
양자화는 모델이 사용하는 숫자의 정밀도를 낮춰 저장공간과 연산 부담을 줄이는 기술이다. 사진의 색상 정보를 단순화해 파일 크기를 줄이는 것과 비슷하다.
컨소시엄 참여사 Nota AI가 공개한 INT4 모델의 가중치 용량은 142.9GB다. 여기에 중요도가 낮은 expert를 줄이는 expert pruning을 결합한 모델은 117.8GB까지 축소됐다. 원본보다 저장 부담을 크게 낮춰 실제 서비스에 적용할 수 있는 선택지를 넓힌 것이다.
다음·타임리·FuriosaAI가 실증 무대
업스테이지는 모델을 개발하는 데 그치지 않고 실제 이용자를 만날 서비스 경로를 마련하고 있다. 2026년 5월 포털 다음 운영사 AXZ 인수를 마쳤고 6월에는 AI 에이전트 플랫폼 기업 타임리를 인수했다. 다음은 일반 이용자를 대상으로 검색과 콘텐츠 서비스를 검증할 수 있고, 타임리는 지자체와 공공·교육기관의 업무환경에 AI 에이전트를 적용할 수 있다.
다음의 AI 오버뷰에는 이미 업스테이지 Solar 계열 모델과 FuriosaAI의 NPU ‘RNGD’가 적용됐다. 공개된 운영 사례에 따르면 3개 서버 노드에 RNGD 24개를 투입해 하루 약 5억개 토큰을 처리하고 다음 검색 질의의 약 20%에 AI 오버뷰를 제공했다. 다만 사용된 Solar의 정확한 버전은 공개되지 않았으므로 이를 Solar Open 2의 운영 실적으로 볼 수는 없다.
업스테이지는 다음 단계에서 Solar Open 2를 다음과 타임리에 연계하고 FuriosaAI의 국산 NPU 환경에서도 비용과 안정성을 검증할 계획이다. 검색 서비스는 다수 이용자의 질문을 처리하는 능력을, 공공·교육 에이전트는 문서와 도구를 이용해 업무를 완성하는 능력을 확인하는 시험대가 된다.
서비스 실증에서 확인할 성능·비용·안정성
Solar Open 2는 전체 지식용량을 늘리면서 토큰당 계산량을 낮추고, 긴 문맥과 도구 사용을 지원하도록 설계됐다. 양자화 모델과 서비스·반도체 협력사까지 확보했다는 점도 연구실의 모델을 산업 현장으로 옮기기 위한 기반이다.
다만 지금까지 공개된 100만 토큰과 H200 2장 구동 등은 모델의 기술적 가능성을 보여주는 수치다. 실제 서비스의 상용성을 판단하려면 이용자가 몰렸을 때의 처리량과 응답시간, 긴 문맥에서 필요한 메모리, 양자화 이후의 작업 품질을 함께 확인해야 한다. 검색이나 문서작업을 끝까지 완료하는 비율과 반복 호출 횟수, 업무에 사용된 전체 토큰, GPU와 NPU의 전력·운영비도 실증 과정에서 측정할 항목이다.
독자 AI 프로젝트의 다음 단계는 Solar Open 2가 실행 가능한 모델을 넘어 비용 대비 성과를 낼 수 있는 서비스로 이어지는지를 확인하는 과정이다. 다음과 타임리, FuriosaAI에서 나올 실증 결과가 250B 모델의 산업적 가치를 판단할 핵심 자료가 될 전망이다.
자료출처=과학기술정보통신부 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과·정책브리핑, Upstage Solar Open 2 모델카드·기술보고서·공식 발표, NAACL 2024 SOLAR 10.7B 논문, User-Oriented Multi-Turn Dialogue Generation 논문, Nota AI INT4·Global-Pruned 모델카드, Upstage AXZ·타임리 인수 발표, 다음 AI 오버뷰 관련 공개자료
댓글
0