미국 식품의약국(FDA)이 생성형 인공지능(GenAI)을 적용한 의료기기에 대해 단순한 정답률을 넘어 임상적으로 필요한 능력을 평가하고, 실제 진료환경에서 이를 다시 확인하는 새로운 심사 접근법을 검토하기 시작했다. 같은 질문에도 다른 문장을 만들고 긴 대화 속에서 역할이 달라지는 생성형 AI를 기존 소프트웨어 의료기기 시험방식만으로 충분히 검증하기 어렵다는 판단에서다.
FDA는 8월 18일 「Considerations for the Regulation of Generative AI-Enabled Medical Devices」 논의서를 공개하고 의료기기의 위험평가, 허가 전 검증, 시판 후 성능관리, Foundation Model과 agentic AI의 규제 방안에 대해 의견수렴에 들어갔다. 의견 제출 기한은 10월 19일이다. FDA는 이번 문서가 확정된 규제나 초안 가이드라인이 아니라 향후 규제체계를 설계하기 위한 논의자료라고 명시했다. 제시된 방법이 현행 FDA 권한만으로 시행 가능한지 여부도 아직 결정하지 않았다.
의료 AI 규제의 시작 아닌 ‘생성하고 행동하는 AI’에 대한 다음 단계
이번 논의는 미국이 처음 의료 AI 규제에 나선 사건은 아니다. FDA는 의료기기 소프트웨어의 개발과 검증을 오래전부터 전 생애주기 관점에서 관리해 왔고, 2010년대에는 Software as a Medical Device(SaMD)의 위험기반 규제와 디지털헬스 정책을 발전시켰다. 2019년에는 학습이나 업데이트로 성능이 변하는 AI·머신러닝 의료기기의 변경을 어떻게 관리할 것인지 별도의 규제 틀을 제안했고, 이후 사전에 예상되는 변경과 검증방법을 계획하는 Predetermined Change Control Plan(PCCP)으로 구체화했다.
생성형 AI가 더한 문제는 ‘변경’만이 아니다. 기존 소프트웨어가 비교적 정해진 입력을 받아 한정된 결과를 내놓았다면 생성형 AI는 자유로운 질문을 받고 다양한 형태의 답을 만든다. 대화가 길어지면서 단순 정보 제공에서 치료방법 추천으로 넘어갈 수도 있다. 제3자 Foundation Model을 사용하는 제품은 의료기기 업체가 프로그램을 바꾸지 않아도 기반 모델 제공업체의 업데이트 때문에 결과가 달라질 가능성도 있다.
FDA가 이번 논의에서 기존 의료 AI 규제를 폐기하는 대신 그 위에 새로운 평가방법을 더하려는 이유다.
‘무엇을 하느냐’와 ‘틀렸을 때 얼마나 위험하냐’로 먼저 분류
FDA가 제시한 첫 단계는 위험분류다. 하나의 점수로 위험을 정하지 않고 두 축을 함께 본다.
첫 번째는 의료기기가 수행하는 활동이다. 일반적인 의료정보를 제공하는 단계와 특정 행동을 권하는 단계, 진단이나 치료계획을 제시하는 단계, 나아가 외부 시스템을 이용해 실제 행동을 수행하는 단계는 같은 위험으로 보기 어렵다.
두 번째는 잘못된 결과를 사용했을 때 환자에게 미칠 수 있는 위해의 심각성이다. 가벼운 증상에 부적절한 생활관리법을 제시한 경우와 인슐린 용량을 잘못 권고한 경우는 모두 잘못된 답이지만 결과의 위험은 크게 다르다. FDA는 이런 두 요소를 조합해 허가 전 검증과 시판 후 감시 강도를 결정하는 방안을 검토하고 있다.
사용자가 누구인지도 중요하다. 의료진은 AI의 답을 검사결과나 다른 임상정보와 비교할 수 있지만 일반 환자는 같은 수준으로 오류를 판단하기 어려울 수 있다. 다만 FDA는 환자용 AI를 일률적으로 고위험으로 보지 않고 제품의 구체적인 사용목적과 이용 상황을 함께 평가하는 방향을 제시했다.
‘몇 문제를 맞혔나’보다 실제 의료현장에 필요한 능력을 본다
이번 문서에서 가장 눈에 띄는 부분은 ‘competency assessment’, 즉 역량평가다.
FDA는 의료인이 모든 환자와 모든 상황을 사전에 경험할 수는 없지만 의학지식과 판단능력을 평가받고, 실제 임상환경에서 수행능력을 다시 확인한다는 점에 주목했다. 생성형 AI도 가능한 모든 질문과 답을 미리 시험할 수 없다면 필요한 능력을 정의하고 이를 검증하는 방식이 가능할지 묻는 것이다. FDA는 이 접근법을 비임상 의료기기 벤치마크와 임상확인(clinical confirmation) 두 단계로 제시했다.
평가대상도 단순한 의학 상식이 아니다. 위험한 환자 상태를 알아차리고 사람에게 판단을 넘길 수 있는지, 자신의 사용범위를 넘어선 요청을 거절할 수 있는지, 답이 불확실할 때 그 사실을 제대로 표현하는지 등을 함께 본다. 의학지식과 임상 추론, 약물 용량이나 검사값을 다루는 수리 능력, 환자에게 내용을 이해하기 쉽게 전달하는 능력도 포함된다.
같은 의미의 질문을 다르게 표현하거나 대화가 길어져도 안전한 행동이 유지되는지, 서로 다른 환자집단에서 성능이 크게 흔들리지 않는지도 평가대상이다.
중요한 점은 Foundation Model 자체의 시험점수가 아니라 실제 환자나 의료진이 사용하게 될 최종 의료기기를 평가한다는 것이다. 같은 Foundation Model을 사용해도 프롬프트, 검색증강생성(RAG), 안전장치, 사용자 화면과 다른 소프트웨어의 조합에 따라 최종 결과가 달라질 수 있기 때문이다.
시험장에서 잘해도 실제 진료환경에서 다시 확인
FDA는 벤치마크만으로 임상 성능을 입증하기 어렵다고 본다. 공개 시험문제가 학습데이터에 이미 포함됐을 수 있고, 여러 모델이 높은 점수를 받아 변별력이 떨어질 수 있으며, 실제 환자를 만나는 상황의 복잡성을 제대로 반영하지 못할 수도 있기 때문이다.
이에 따라 벤치마크 다음 단계로 임상확인을 제시했다. 기존 환자 데이터를 이용해 결과를 비교하는 후향적 평가부터 실제 병원 업무환경에 AI를 배치하되 결과를 진료에는 사용하지 않는 방식, 모의 환자를 이용한 시험, 의료진의 독립적인 판정, 필요한 경우 전향적 임상시험까지 위험도에 따라 다양한 방법을 사용할 수 있다는 구상이다.
모든 생성형 AI 의료기기에 무작위 임상시험을 요구한다는 뜻은 아니다. 제품이 어떤 판단을 하고 그 판단이 틀렸을 때 환자에게 얼마나 큰 위해가 발생하는지에 따라 요구하는 증거의 강도를 달리하겠다는 접근이다.
스스로 도구를 쓰는 agent는 별도 역량까지 본다
생성형 AI가 답변 생성에서 실제 행동으로 확장되면서 agentic AI도 새로운 규제대상으로 등장했다.
Agentic AI는 하나의 요청을 받은 뒤 필요한 작업을 여러 단계로 나누고 외부 소프트웨어나 도구를 호출해 순차적으로 수행할 수 있다. 의료현장에서는 정보 검색이나 기록 정리를 넘어 다른 시스템에 명령을 전달하는 구조까지 발전할 수 있다.
FDA는 이런 AI에 대해서는 일반적인 생성형 AI 역량 외에도 작업 순서를 올바르게 계획하는지, 적절한 외부 도구를 선택하는지, 도구가 잘못된 결과를 보내면 이를 알아차리는지, 위험하거나 되돌릴 수 없는 행동을 하기 전에 사람에게 승인을 요청하는지 등을 추가로 평가하는 방안을 제시했다.
생성형 AI 규제가 단순히 답변의 정확성을 관리하는 문제에서 AI가 수행하는 행동의 안전성까지 넓어지고 있다는 의미다.
외부 Foundation Model이 바뀌면 의료기기는 그대로인가
Foundation Model 공급자와 의료기기 제조사의 관계도 이번 문서의 주요 쟁점이다.
의료기기 업체가 자체 개발한 AI라면 모델 변경을 직접 통제할 수 있다. 반면 외부 Foundation Model을 이용하면 기반 모델을 공급하는 회사가 업데이트를 할 수 있다. 의료기기 업체가 자신의 프로그램을 바꾸지 않았는데도 최종 답변의 특성이 달라질 수 있는 구조다.
FDA는 이 문제를 다루기 위해 ‘Foundation Model Device Master File(MAF)’이라는 자발적 정보제공 체계도 검토하고 있다. Foundation Model 공급자가 모델 구조와 학습데이터 관련 정보, 알려진 한계와 실패 유형, 의료 분야 벤치마크 결과, 안전장치와 업데이트 정보 등을 FDA에 제출하고 이를 해당 모델을 사용하는 의료기기 심사에 참고하는 방식이다.
다만 이런 자료가 있다고 Foundation Model 자체가 의료용으로 허가되는 것은 아니다. 최종 의료기기의 안전성과 유효성을 입증할 책임은 의료기기 신청자에게 남는다는 것이 FDA의 원칙이다.
한국도 생성형 AI에서 LLM과 변경관리까지 세분화
한국 역시 생성형 AI 의료기기 규제를 처음 논의하는 단계는 아니다.
식품의약품안전처는 2025년 1월 24일 「생성형 인공지능 의료기기 허가·심사 가이드라인」을 제정했다. 생성형 AI 의료기기의 허가·심사 과정에서 고려해야 할 위험과 성능평가 방법을 별도로 정리한 안내서다.
올해는 한 단계 더 세분화했다. 식약처는 6월 26일 AI가 적용된 디지털의료기기를 대상으로 「디지털의료기기 변경관리 계획서 허가 심사 가이드라인」을 마련했고, 6월 30일에는 「거대언어모델(LLM) 기반 디지털의료기기 허가·심사 가이드라인」을 공개했다. 식약처 공식 목록에서도 두 가이드라인의 제정일과 등록번호가 확인된다.
미국과 한국의 차이는 현재 접근 단계에 있다. 한국은 생성형 AI와 LLM의 허가·심사, AI 의료기기의 변경관리를 실제 민원인 가이드라인으로 구체화했다. FDA는 이번 discussion paper를 통해 여기에 더해 의료인의 능력평가에서 착안한 competency assessment, Foundation Model 공급자의 정보관리, agentic AI의 자율행동을 하나의 규제체계 안에서 어떻게 다룰지 공개적으로 묻고 있다.
생성형 AI 의료기기의 규제 과제도 결국 여기로 모인다. 정해진 시험문제에서 높은 정확도를 내는 것만으로는 의료현장에서 안전하게 사용할 수 있다는 사실을 충분히 보여주기 어려워졌다. AI가 위험을 알아차리고, 필요한 정보를 묻고, 불확실성을 표현하고, 긴 대화에서도 판단을 유지하며, 외부 도구를 사용할 때 멈춰야 할 지점을 아는지까지 검증 대상이 되고 있다.
FDA가 10월 19일까지 받는 의견은 이런 접근을 실제 미국 의료기기 심사체계에 어느 범위까지 적용할지 검토하는 자료가 된다. 이번 논의는 기존 의료기기 규제를 버리는 변화라기보다 대화하고 생성하며 스스로 행동하기 시작한 의료 AI에 맞춰 검증의 범위를 다시 넓히는 과정에 가깝다.
출처
FDA 「FDA Seeks Public Feedback to Inform Regulatory Approach for Generative AI-Enabled Medical Devices」(2026.8.18) FDA 공식 보도자료 · FDA 「Considerations for the Regulation of Generative AI-Enabled Medical Devices: Discussion Paper and Request for Feedback」(2026.8) FDA Discussion Paper 안내 · 식품의약품안전처 「생성형 인공지능 의료기기 허가·심사 가이드라인」(2025.1.24) 식약처 공식 원문 · 식품의약품안전처 「디지털의료기기 변경관리 계획서 허가 심사 가이드라인」(2026.6.26) 식약처 공식 원문 · 식품의약품안전처 「거대언어모델(LLM) 기반 디지털의료기기 허가·심사 가이드라인」(2026.6.30) 식약처 가이드라인 목록
댓글
0