이노비즈

[혁신산업] LLM, 긴 문맥에서는 ‘가짜 데이터’에도 속수무책

한문장요약: 긴 문맥을 처리할 수 있는 최신 대형언어모델(LLM)이 무의미한 반복 문장만으로도 안전장치를 뚫린다는 취약성이 실험으로 확인됐다.

지안(紙眼) 기자 입력 2025.06.18 22:18 수정 2026.08.09 09:29 1

대형언어모델(LLM)의 문맥 길이가 늘어날수록 학습 성능은 높아지지만, 동시에 안전성이 치명적으로 취약해질 수 있다는 연구 결과가 나왔다.

LLM, 긴 문맥에서는 ‘가짜 데이터’에도 속수무책 (생성이미지제작:데일리뉴스)

서울대·경희대·KAIST 연구진과 코스웨이브(Coxwave)가 공동 수행한 이 실험은, 최대 128K 토큰의 초장문 문맥을 모델에 주입해 여러 형태의 'Many-Shot Jailbreaking'(다중 예시로 모델 안전장치 무력화)을 시도했다. 그 결과 놀랍게도 ‘유해한 질문-답변 예시’ 없이, 단순한 Lorem Ipsum 문장이나 같은 문장을 반복한 예시만으로도 모델의 안전장치가 해제됐다.

주요 실험 결과에 따르면, 실제로 유해한 내용의 Q&A를 수백 개 조작하는 복잡한 공격이 아니어도, 무의미한 문장을 대량으로 채워 넣으면 LLM의 안전거부 알고리즘이 제대로 작동하지 않았다. 이는 특히 최근 공개된 Llama-3, Qwen-2.5 등 최신 대형 오픈소스 모델에서 두드러졌다.

LLM 안전성 연구자들은 그동안 ‘훈련된 유해 예시’를 활용해 방어 알고리즘을 강화해 왔다. 하지만 이번 연구는 ‘콘텐츠의 유해성 여부’보다 ‘문맥 길이 그 자체’가 안전성 약화의 핵심 원인임을 실험적으로 입증했다.

연구팀은 반복된 동일 예시만으로도 모델을 뚫는 간단한 해킹 기법(Shot Repetition Attack)과 가짜 텍스트 삽입 기법(Fake Data Attack)을 제시했다. 이는 수십~수백개의 정교한 유해 예시 제작 없이도 안전장치를 무력화할 수 있는 최적화된 공격법이다.

기업에게 필요한 대응 방안

첫째, 입력 데이터 필터링 로직을 강화해 무의미한 반복 텍스트를 사전에 차단해야 한다.
둘째, API 호출 시 사용자별 최대 토큰 수를 제한해 과도한 문맥 사용을 통제해야 한다.
셋째, 입력 길이에 따라 안전성 검증 단계와 거부 조건을 동적으로 설정할 수 있는 시스템을 도입할 필요가 있다.
넷째, 시스템 프롬프트와 역할 프롬프트의 무결성을 주기적으로 점검해야 한다.
다섯째, 내부 사용자와 파트너를 대상으로 긴 문맥 사용 시 발생할 수 있는 리스크를 충분히 교육하고 이상 패턴을 실시간으로 모니터링하는 체계를 구축해야 한다.

연구팀은 현재 공개된 LLM의 안전성을 다시 점검할 수 있는 새로운 롱컨텍스트 안전성 평가 기준도 제안했다.

이 기사는 arXiv에 게재된 논문 [What Really Matters in Many-Shot Attacks? An Empirical Study of Long-Context Vulnerabilities in LLMs (arXiv:2505.19773)]을 바탕으로 작성되었습니다.