딥페이크와 가짜뉴스 등 인공지능(AI)의 부작용이 사회적 위험 요소로 부상하면서, 이를 통제하기 위한 해법으로 ‘설명 가능한 인공지능(XAI, Explainable AI)’ 기술이 글로벌 기술 산업의 핵심 경쟁 분야로 떠오르고 있다.
유럽을 중심으로 미국과 한국까지 AI 규제가 본격 확산되는 흐름 속에서, XAI는 규제 대응을 넘어 AI 신뢰성을 확보하기 위한 필수 기술로 주목받고 있다.
20일 정보기술(IT) 업계에 따르면 구글 딥마인드는 지난달 ‘젬마 스코프2(Gemma Scope 2)’를 공개했다. 이 도구는 딥마인드의 최신 오픈소스 AI 모델 ‘젬마3(Gemma 3)’의 내부 작동 방식을 분석해, 모델이 유해하거나 왜곡된 판단을 내릴 가능성을 사전에 추적·진단할 수 있도록 설계됐다. 딥마인드는 “오픈소스로 공개된 AI 해석 도구 가운데 역대 최대 규모”라고 설명했다.
딥마인드는 또 영국 AI보안연구소와 협력해 ‘사고 사슬(CoT·Chain of Thought)’ 모니터링 기술을 공동 연구하고 있다. 이는 AI가 최종 답변에 도달하기까지의 사고 과정을 추적·감시하는 기술로, AI 판단의 투명성을 높이기 위한 대표적인 XAI 접근법으로 꼽힌다.
AI의 사고 과정은 그동안 ‘블랙박스’로 비유될 만큼 외부에서 이해하기 어려운 영역이었다. 업계에서는 딥페이크 생성, 허위 정보 확산, 편향된 판단 등 AI 부작용을 근본적으로 차단하려면 이 블랙박스를 열어 사고 구조 자체를 감시해야 한다는 공감대가 형성되고 있다.
이 같은 흐름은 각국의 규제 강화와도 맞물린다. 유럽연합(EU)의 ‘AI법(AI Act)’을 비롯해 한국의 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)’, 미국의 캘리포니아주 규제에 이어 최근 제정된 뉴욕주의 ‘책임 있는 AI 안전 및 교육법’까지, AI 시스템에 대한 설명 가능성과 책임성을 요구하는 법적 장치가 빠르게 확산되고 있다.
학계에서는 “AI 모델에 문제가 발생했을 때 해당 모델이 어떤 원리로 학습됐고, 무엇을 어떻게 수정해야 하는지를 알 수 있어야 한다”며 “이 과정에서 XAI는 선택이 아니라 필수 기술이 되고 있다”는 주장을 한다.
글로벌 AI 기업들도 각기 다른 방식으로 XAI 경쟁에 뛰어들고 있다. 오픈AI는 최근 ‘희소 모델 학습법’을 공개했다. 이는 복잡한 인공신경망 구조 자체가 설명 가능성을 떨어뜨린다는 문제의식에서 출발해, 뉴런 간 연결을 대폭 줄인 ‘희소 모델’을 통해 사고 구조를 단순화하는 접근법이다. 기존 밀집 모델이 수천 개의 뉴런 연결로 작동하는 것과 달리, 희소 모델은 수십 개 연결만으로도 성능을 유지할 수 있다는 설명이다.
앤트로픽 역시 XAI 연구를 강화하고 있다. 2024년 ‘대형언어모델(LLM)의 마인드 매핑’ 논문을 발표한 데 이어, 이달 10일에는 AI 모델 ‘클로드(Claude)’의 입·출력을 실시간 모니터링해 안전장치 우회를 차단하는 ‘헌법 분류기(Constitutional Classifier)’ 최신 버전을 선보였다.
국내에서는 오는 22일 시행되는 AI 기본법에 AI 시스템의 설명 가능성 확보 의무가 포함되면서, 관련 기술 개발과 산업 적용이 빠르게 확대될 것으로 보인다. 한편 KAIST의 최재식 교수가 창업한 인이지(Ingeegy)의 XAI 기술은 지난해 국내 최초로 국가전략기술로 지정되며 정책적 지원 대상에 포함됐다.
전문가들은 AI가 사회 전반에 깊숙이 확산되는 현시점에서, XAI가 기술 신뢰성과 민주적 통제를 동시에 담보하는 핵심 인프라가 될 것이라고 입을 모은다. 딥페이크와 가짜뉴스를 막기 위한 경쟁은 이제 성능이 아닌 ‘설명할 수 있는 AI’를 누가 먼저 구현하느냐의 싸움으로 옮겨가고 있다.
댓글
0