인공지능(AI) 모델의 대형화와 장문맥 처리 수요가 빠르게 증가하는 가운데, AI 메모리 효율을 높이기 위한 차세대 초압축 기술이 공개됐다.
AI 기반 자연어처리 전문기업 퀀텀에이아이는 초고차원 데이터 압축 및 양자화 기술인 ‘퀀텀퀀트(QuantumQuant)’를 공개하고, AI 인퍼런스 환경에서 발생하는 메모리 병목 문제 해결에 나선다고 밝혔다.
퀀텀퀀트는 대규모 언어모델(LLM)과 AI 에이전트 구동 과정에서 핵심 부담으로 꼽히는 KV 캐시(Key-Value Cache)와 고차원 벡터 데이터를 효율적으로 압축하기 위해 개발된 기술이다. 회사 측은 기존 압축 방식 대비 고차원 데이터 처리 능력을 크게 높이고, 초고차원 컨텍스트 벡터도 실시간에 가깝게 압축할 수 있도록 설계했다고 설명했다.
기존 AI 압축 기술은 고차원 데이터 처리 과정에서 랜덤 회전, 대규모 행렬 계산, 반복 최적화 등 복잡한 연산이 요구돼 대형 모델 적용 시 계산 비용이 급격히 증가하는 한계가 있었다. 특히 모델의 문맥 길이가 길어질수록 KV 캐시 저장량이 커져 GPU 메모리와 HBM 사용량이 늘어나는 문제가 발생했다.
퀀텀에이아이는 퀀텀퀀트가 이러한 구조적 한계를 개선하기 위해 합성(composition) 기반의 simplex 공간 양자화 방식을 적용했다고 밝혔다. 이를 통해 랜덤 회전 없이 데이터 압축이 가능하며, 연산 복잡도를 낮추면서도 정보 복원력을 유지하는 것이 핵심이다.
또한 퀀텀퀀트는 단순 평균 제곱 오차(MSE) 중심의 복원 평가를 넘어 정보 엔트로피 흐름을 고려한 정밀 보정 기법을 적용했다. 회사는 이 방식이 금융 약관 분석, 보험 상담, 법률 문서 검토, 고신뢰 고객 상담 에이전트 등 미세한 문맥 차이가 중요한 산업 영역에서 활용도가 높을 것으로 보고 있다.
퀀텀에이아이 관계자는 “퀀텀퀀트는 AI 모델의 성능 저하를 최소화하면서 메모리 사용량을 줄이는 데 초점을 맞춘 기술”이라며 “AI 인퍼런스 비용 절감과 응답 속도 개선, 장문맥 AI 서비스 확장에 중요한 기반 기술이 될 것”이라고 말했다.
업계에서는 AI 서비스 상용화가 본격화될수록 인퍼런스 비용과 메모리 효율이 기업 경쟁력의 핵심 요소가 될 것으로 보고 있다. 특히 고가의 HBM 의존도를 낮추고 동일 인프라에서 더 많은 요청을 처리할 수 있는 압축·양자화 기술은 B2B AI 시장에서 중요한 인프라 기술로 부상하고 있다.
퀀텀에이아이는 퀀텀퀀트를 텍스트 기반 AI 모델뿐 아니라 음성, 이미지, 문서 등 멀티모달 데이터 처리 영역으로 확장할 계획이다. 이를 통해 금융·의료·법률 등 고신뢰 산업군의 AI 에이전트와 데이터 자산화 프로젝트에 적용 범위를 넓힌다는 방침이다.
퀀텀에이아이는 2020년 설립된 AI 기반 자연어처리 전문기업이다. 금융권의 문서, 음성, 텍스트 등 비정형 데이터를 정형화하고 분석해 데이터 자산으로 전환하는 서비스를 제공하고 있으며, 자체 개발한 Data2Vec 통합자연어처리 엔진, AIOCR, 문서처리 솔루션 등을 기반으로 금융·의료·법률 분야의 AI 프로젝트를 수행하고 있다.
댓글
0