생성형 AI 확산과 함께 ‘AI 할루시네이션(hallucination·환각)’ 문제가 다시금 도마 위에 오르고 있다. AI가 존재하지 않는 사실을 그럴듯하게 만들어내는 현상으로, 사용자들이 잘못된 정보를 사실로 받아들이는 위험이 커지고 있다는 지적이다.
업계에 따르면 최근 챗봇·검색·업무지원 서비스에서 AI가 허위 논문, 가짜 인용문, 틀린 수치 등을 제시하는 사례가 잇따르고 있다. 전문가들은 “AI 할루시네이션은 알고리즘 자체의 한계이자 데이터 편향의 결과”라며 “단순 오류가 아니라 신뢰성 전체를 위협하는 구조적 문제”라고 경고했다.
특히 의료·법률·교육 분야에서 AI가 잘못된 정보를 제공할 경우, 사회적 피해가 커질 수 있다는 우려도 제기된다. 한 연구자는 “AI가 인간처럼 확신에 차서 틀린 답을 내놓는 것이 문제”라며 “사용자는 검증된 출처와 결합해 활용해야 한다”고 조언했다.
이에 따라 글로벌 빅테크와 스타트업들은 대응책 마련에 나서고 있다. 오픈AI, 구글 등은 ‘사실 검증 모듈’과 ‘출처 표시 기능’을 강화하고 있으며, 국내 기업들도 데이터 품질 관리 및 사용자 안내 체계를 도입 중이다. 학계 역시 ‘AI 안전성’ 연구를 주요 과제로 삼아, 모델 훈련 방식 개선과 인간 검증 시스템(HITL·Human in the Loop) 확대를 논의하고 있다.
전문가들은 “AI 할루시네이션은 완전히 제거하기 어렵지만, 최소화 전략은 가능하다”며 “결국 신뢰할 수 있는 AI를 만들기 위해서는 기술적 보완과 윤리적 감시가 병행돼야 한다”고 강조했다.
댓글
0