스태빌리티 AI가 개발한 인기 있는 텍스트-이미지 생성 AI 도구인 Stable Diffusion이 불법 아동 성적 학대 자료로 훈련되었다고 포브스지가 21일(현지시간)자 기사에서 스탠포드 인터넷 관측소의 최근 연구 결과를 인용 보도했다.
이 연구는 광범위한 데이터셋, 특히 LAION-5B라고 불리는 수십억 개의 이미지로 구성된 공개 데이터셋에 대해 심층적인 조사를 실시했다.
스탠포드 연구팀은 이 데이터셋이 실제 웹에서 스크랩된 아동 성적 학대 자료(CSAM)를 포함하고 있으며, AI 생성 CSAM의 제작에도 기여했다는 사실을 발견했다. 연구에 따르면, Stable Diffusion 1.5 모델의 훈련 과정이 장기적으로 문제를 일으킬 것으로 우려됩니다.
따라서 이 보고서는 문제가 있는 데이터셋을 기반으로 구축된 모든 모델에 대한 사용을 중단할 것을 촉구하고 있다. 스탠포드 팀은 공개 훈련 데이터에서 3,000건 이상의 의심스러운 CSAM을 발견했으며, 실제 양은 이보다 훨씬 많을 것으로 추정하고 있다. 연구는 Microsoft의 PhotoDNA 도구를 사용하여 이미 알려진 CSAM과 이미지의 디지털 "지문"을 일치시키는 방식으로 진행되었다.
스태빌리티 AI는 이러한 문제에 대해 즉각적인 응답을 하지 않았으며, 회사의 규정은 모델이 아동의 착취나 해를 끼치는 데 사용되지 않도록 명시하고 있다. 스탠포드의 보고서는 이러한 AI 도구들이 가짜 CSAM을 생성하는 데 오용될 수 있음을 지적하며, 이로 인해 법 집행에 어려움을 초래하고 있다고도 밝혔다.
이 보고서는 AI와 관련된 아동 성적 학대 및 데이터 채굴에 대한 연방법이 뒤처져 있다고 우려하며, 미국의 여러 주 법무장관들이 이러한 AI CSAM 위협에 대처하기 위해 의회에 조치를 취할 것을 촉구하였다. 한편, 캐나다 아동보호센터도 이러한 거대한 데이터셋에 대한 관리 부족이 기존의 CSAM 문제를 악화시키고 있다고 지적하였다.
댓글
0