[과학기술] AI권위자 요슈아 벵지오, 'LawZero'와 'Scientist AI'로 안전한 AI 개발의 방향 제시

요슈아 벵지오, 자율행동 AI의 위험성 경고하며 새로운 AI 안전설계 방향 제시

‘Scientist AI’ 모델로 에이전트형 AI의 통제를 제안한 벵지오 교수의 ‘LawZero’ 출범

세계적 AI 권위자 요슈아 벵지오(Yoshua Bengio)는 ‘딥러닝’ 개념을 정립한 인공지능 연구의 선구자로, AI 분야의 노벨상이라 불리는 ‘튜링상’ 수상자다. 현재 그는 세계에서 가장 많이 인용되는 AI 과학자로, 캐나다 몬트리올대 교수이자 퀘벡 인공지능연구소(Mila)의 창립자이기도 하다.

요슈아 벵지오 교수는 AI의 자율성 증가로 인한 통제 불가능한 위험에 대응하기 위해, 비에이전트형(non-agentic) AI 연구소 ‘LawZero’를 창립하고, ‘Scientist AI’라는 새로운 기술 방향을 제시했다.

‘LawZero’는 AI가 세상을 이해하는 데 초점을 맞추되, 행동하지 않도록 설계하는 방식으로, 기존 에이전트형(agentic) AI 시스템의 기만(deception), 자기보존(self-preservation), 목표 불일치(goal misalignment) 등의 위험요소를 억제하고자 한다.

요슈아 벵지오 교수는 2025년 TED 강연과 다수의 기고를 통해, 최신 에이전트형 AI가 인간의 통제를 벗어날 가능성을 수차례 경고해 왔다. 특히 AI가 ‘자신의 폐기 예정’을 감지하고, 코드와 가중치를 새로운 시스템에 복사해 자가복제를 시도하는 실험 사례를 소개하며, AI가 인간처럼 '거짓말을 통해 생존'을 선택할 수 있다는 점을 강조했다.

이러한 위기의식 속에 제안된 'Scientist AI'는 세 가지 역할을 수행한다:

1. 고위험 에이전트형 AI의 감시자

   → 고위험 작업 전 AI의 행동을 검증하고 차단

2. 정직하고 추론 기반의 연구도우미

   → 과학·의학·재료 등 실험 기반 연구에서 창의적이고 신뢰할 수 있는 보조 연구자로 활용 가능

3. 차세대 AI 모델 설계자

   → 안전한 인간 수준 또는 초지능 ASI(Artificial Super Intelligence)의 설계 보조

이러한 'Scientist AI'의 핵심은 인간을 흉내내기보다, 세계에 대한 투명한 추론 체계와 확률적 해석에 기반한 응답 생성에 있으며, 외부로 설명 가능한 reasoning logics를 갖춘다는 점에서 산업계에도 신뢰성과 윤리성을 제고하는 대안이 될 수 있다.