정부가 국산 인공지능 반도체 정책의 무게중심을 개별 칩 개발에서 데이터센터와 인공지능 서비스에 실제 적용할 수 있는 ‘풀스택’ 생태계 구축으로 넓힌다. 생성형 인공지능 시장이 모델 학습 중심에서 서비스 운영을 위한 추론 중심으로 확대되면서 반도체 성능뿐 아니라 소프트웨어 호환성, 전력 효율, 네트워크와 메모리 구성까지 함께 검증해야 한다는 판단이다.
과학기술정보통신부는 20일 서울 광화문 HJ비즈니스센터에서 배경훈 부총리 겸 과기정통부 장관 주재로 ‘개방형 AI 컴퓨팅 인프라 생태계 구축을 위한 업계 간담회’를 열었다. 이번 간담회는 과기정통부와 AMD가 지난 7월 체결한 전략적 업무협약의 후속 조치로 마련됐다.
간담회에는 AMD코리아를 비롯해 퓨리오사AI, 리벨리온, 하이퍼엑셀, 딥엑스, 모빌린트 등 AI 가속기 기업과 망고부스트, 파네시아, 엑시나, 디노티시아 등 데이터처리장치(DPU)·컴퓨트익스프레스링크(CXL) 관련 기업이 참석했다. 모레AI, 노타AI, 래블업, 파두, KTNF와 정보통신산업진흥원, 정보통신기획평가원도 논의에 참여했다.
추론 확대가 바꾸는 AI 인프라 경쟁
대규모 AI 모델을 만드는 과정에서는 방대한 데이터를 처리하는 학습 연산이 중심이었다. 생성형 AI 서비스가 기업과 공공기관, 개인 이용자에게 확산되면서 이제는 학습을 마친 모델이 이용자의 요청에 답을 생성하는 추론 연산의 비중도 커지고 있다.
추론 인프라는 서비스 성격에 따라 요구 조건이 달라진다. 실시간 응답이 중요한 서비스는 지연시간을 줄여야 하고, 이용자가 많은 서비스는 일정 시간 동안 처리할 수 있는 요청량과 전력 대비 성능이 중요하다. 긴 문서 처리나 에이전트형 AI처럼 입력량이 많은 서비스에서는 메모리 용량과 대역폭, 서버 간 데이터 전송 구조도 전체 성능에 영향을 준다.
이에 따라 AI 컴퓨팅 경쟁도 하나의 고성능 칩을 확보하는 문제에서 CPU·GPU·신경망처리장치(NPU), 메모리, 네트워크, 스토리지와 소프트웨어를 업무 특성에 맞게 조합하는 시스템 경쟁으로 확대되고 있다. 서로 다른 제조사의 하드웨어를 연결하고 AI 모델이 각 가속기에서 안정적으로 동작하도록 만드는 소프트웨어와 개발도구의 중요성도 함께 커진다.
과기정통부가 제시한 ‘개방형 AI 컴퓨팅 인프라’는 이러한 이기종 연산장치를 유연하게 결합할 수 있는 구조를 뜻한다. 특정 반도체나 단일 소프트웨어 환경에만 의존하기보다 공개 인터페이스와 국제표준, 오픈소스 기술을 활용해 여러 종류의 자원을 연결하고 최적화하는 방식이다.
CXL·DPU부터 소프트웨어까지 연결해야
간담회에서는 퓨리오사AI가 개방형 AI 컴퓨팅 인프라의 국제 동향과 국내 반도체 업계의 대응 방향을 발표했다. AMD코리아는 과기정통부와 체결한 업무협약의 내용과 실행계획을 공유했으며, 망고부스트와 모레AI는 AMD와 추진하는 컴퓨팅 최적화 및 소프트웨어 협업 현황을 소개했다.
참석 기업들은 AI 반도체, 메모리, 네트워크와 소프트웨어가 유기적으로 연결되는 생태계를 구축해야 한다는 데 의견을 모았다. 논의 대상에는 CXL과 DPU, 지능형 메모리 반도체(PIM), 뉴로모픽 반도체 등이 포함됐다.
CXL은 CPU와 GPU 등 가속기, 메모리 사이에서 데이터를 고속으로 주고받을 수 있도록 마련된 연결 규격이다. 여러 연산장치가 메모리 자원을 효율적으로 활용해야 하는 대규모 AI 시스템에서 확장성과 자원 활용도를 높이는 기반 기술로 거론된다.
DPU는 네트워크 전송과 스토리지 접근, 보안 등 서버의 데이터 처리 업무를 CPU 대신 수행하는 전용 가속기다. CPU가 AI 응용과 시스템 제어에 더 많은 자원을 배정할 수 있도록 지원한다. PIM은 메모리 내부나 가까운 위치에서 연산을 수행해 데이터 이동에 필요한 시간과 전력 소비를 줄이는 기술이며, 뉴로모픽 반도체는 신경망의 작동 방식을 반도체 구조에 반영하는 차세대 연산 기술이다.
이들 기술을 확보하는 것만으로 개방형 생태계가 완성되는 것은 아니다. AI 모델을 다양한 하드웨어에서 실행할 수 있는 컴파일러와 런타임, 개발도구, 연산 최적화 기술이 함께 마련돼야 한다. 실제 서버와 데이터센터에서 칩의 성능과 전력 소비, 안정성, 소프트웨어 호환성을 검증하는 실증 환경도 필요하다.
AMD 협력, 선언에서 실행 과제로
과기정통부와 AMD가 7월 체결한 업무협약에는 AI 인프라와 소프트웨어 개발, 첨단 연구, 인재 양성, 오픈소스 AI 모델 분야의 협력 방안이 담겼다. AMD는 당시 한국에 ‘AI 센터 오브 엑설런스’를 설립하고 국내 대학·연구기관·산업계와 협력을 확대하는 방안을 제시했다.
양측은 한국에서 개발한 AI 모델과 데이터세트, 응용 프로그램을 AMD 플랫폼에 맞게 최적화해 공개하는 전용 공간과 협력 운영위원회 구성도 검토하기로 했다. 다만 업무협약에 포함된 내용은 실행을 검토하는 단계의 협력 계획이다. 국산 NPU의 해외 생태계 참여와 국내 기업의 사업 확대로 이어지려면 참여 기업, 개발 일정, 실증 대상과 지원 방식이 구체적인 사업 단위로 정리돼야 한다.
간담회 참석 기업들도 업무협약이 실질적인 성과로 연결되려면 구체적인 협력 과제를 발굴하고 후속 실행을 이어가야 한다는 의견을 정부에 전달했다. 정부가 세계적인 반도체 기업과 국내 NPU·소프트웨어 기업 사이에 협력 창구를 마련하는 것과 함께, 국산 장비를 실제로 사용하고 결과를 공개할 수 있는 데이터센터와 AI 서비스 수요처를 확보해야 한다는 의미다.
이날 AMD코리아는 지난달 업무협약 체결을 기념해 기증하기로 한 ‘AMD Ryzen AI Halo’ 컴퓨터를 한국과학기술원(KAIST)에 전달했다. 해당 장비 기증은 리사 수 AMD 회장이 협약 체결 당시 의사를 밝히고, 배경훈 부총리가 AI 인재가 활용할 수 있도록 하자고 제안하면서 이뤄졌다.
국산 NPU 확산, 실제 서비스 성과가 기준
국내 AI 반도체 기업들은 추론에 특화한 NPU와 서버, 소프트웨어를 개발해 왔다. 그러나 시장 확산을 위해서는 칩의 연산 성능만 제시하는 단계에서 벗어나 주요 AI 모델이 안정적으로 작동하는지, 기존 데이터센터 환경과 연동할 수 있는지, 이용자가 요구하는 응답속도와 처리량을 충족하는지를 실제 서비스에서 입증해야 한다.
개방형 컴퓨팅 생태계는 국산 NPU가 GPU를 단순히 대체하는 구도보다 업무에 따라 여러 가속기를 함께 활용할 수 있는 시장을 만드는 데 의미가 있다. AI 모델의 일부 연산은 GPU에서 처리하고 특정 추론 작업은 NPU에 배분하는 방식이 가능하려면 장치 사이의 연결 규격과 운영 소프트웨어, 모델 변환·최적화 기술이 함께 갖춰져야 한다.
기업 입장에서는 지원되는 AI 모델과 프레임워크의 범위, 개발도구의 완성도, 장애 대응과 유지보수 체계도 도입 판단의 기준이 된다. 국산 NPU 실증이 일회성 장비 공급에 머무르지 않고 반복적으로 사용할 수 있는 소프트웨어와 운영 경험을 축적해야 하는 이유다.
배경훈 부총리는 “국제 AI 시장이 학습에서 추론 중심으로 전환되면서 AI 경쟁의 무대도 개별 칩 성능을 넘어 전력·비용 효율성을 갖춘 개방형 AI 컴퓨팅 생태계 경쟁으로 확대되고 있다”며 국산 NPU가 실제 데이터센터와 AI 서비스 현장에서 활용되는 성공 사례를 확보할 수 있도록 풀스택 실증 지원을 강화하겠다고 밝혔다.
이번 간담회에서 별도의 신규 사업 예산이나 실증 일정, AMD와 국내 기업 사이의 개별 계약은 발표되지 않았다. 향후 정책의 성과는 협력 논의를 넘어 국산 NPU가 적용되는 서비스와 데이터센터를 얼마나 확보하는지, 서로 다른 하드웨어를 연결할 소프트웨어와 표준화 성과가 실제 도입으로 이어지는지에 따라 확인될 전망이다.
출처: 과학기술정보통신부 ‘개방형 AI 컴퓨팅 인프라 생태계 구축을 위한 민관 협력 방안 논의’(2026.8.20.) · AMD ‘AMD and Korea’s Ministry of Science and ICT Partner to Advance a Sovereign AI Ecosystem’(2026.7.27.) · AMD·Cerebras 추론 인프라 협력 발표(2026.7.23.)
댓글
0