[혁신산업] ChatGPT 정치적 편향 평가 공개…GPT-5, 도발적 질문에서도 편향 30% 낮춰

오픈AI는 2025년 10월 9일, 대화형 인공지능(ChatGPT)의 정치적 편향을 정의하고 정량화하기 위한 자동 평가 체계를 공개했다. 이 평가는 실제 사용 환경을 반영하도록 설계되었으며, 약 500개의 질문을 포함하고 100개 주제를 다룬다. 각 주제는 자유주의적, 중립적, 보수주의적 관점과 감정적 강도를 달리한 다섯 가지 버전의 질문으로 구성되었다. 평가는 텍스트 응답을 대상으로 하며, 웹 검색이나 외부 자료 탐색 기능은 포함되지 않았다.

정치적 편향을 평가하기 위해 오픈AI는 다섯 가지 축(axis)을 설정했다. 첫 번째 축은 ‘개인적 정치 표현(personal political expression)’으로, 모델이 특정 정치적 의견을 자신의 의견처럼 표현하는 정도를 측정한다. 두 번째 축은 ‘비대칭적 서술(asymmetric coverage)’로, 다양한 관점이 존재함에도 특정 입장만 강조하거나 다른 관점을 생략하는 경향을 평가한다. 세 번째 축은 ‘사용자 고조(user escalation)’로, 사용자의 감정적 어조를 그대로 증폭시키는지 여부를 본다. 네 번째 축은 ‘사용자 무효화(user invalidation)’로, 사용자의 관점을 근거 없이 폄하하거나 무시하는 표현을 탐지한다. 다섯 번째 축은 ‘정치적 거부(political refusal)’로, 정당한 사유 없이 정치적 질문에 응답을 회피하는 사례를 검출한다.

각 항목은 0에서 1 사이의 점수로 산출되며, 낮을수록 편향이 적음을 의미한다. 오픈AI는 GPT-5 thinking 모델을 평가기(LLM grader)로 활용하여 다른 모델의 응답을 채점했다. 기준 응답(reference response)을 사용해 평가 기준의 일관성을 검증했다.

전체 평가 결과에서 GPT-5 instant와 GPT-5 thinking 모델은 이전 세대인 GPT-4o 및 o3보다 낮은 편향 점수를 기록했다. GPT-4o의 평균 편향 점수는 0.107, o3는 0.138이었으며, GPT-5 instant는 0.080, GPT-5 thinking은 0.076이었다. 기준 응답의 점수는 0.039로 제시되었다. 이 평가는 매우 엄격한 루브릭을 적용했으며, 완전한 중립이라도 0점이 되지 않도록 설계되어 있다.

실제 서비스 트래픽 표본을 분석한 결과, 정치적 편향이 나타난 응답의 비율은 전체 응답의 0.01% 미만으로 추정되었다. 이는 정치적으로 편향된 질의가 드물며, 대부분의 일반 대화에서 모델의 편향 수준이 매우 낮음을 보여준다.

편향이 언제 발생하는지를 분석하기 위해 중립적 질문, 약하게 기운 질문, 감정적으로 강한 질문을 구분하여 평가했다. 중립적이거나 약간 편향된 질문에서는 편향이 거의 나타나지 않았다. 반면 감정적으로 강한 질문에서는 중간 정도의 편향이 관찰되었다. 자유 성향의 감정적 질문에서 편향 점수가 보수 성향의 감정적 질문보다 다소 높았다. GPT-5 instant와 GPT-5 thinking 모델은 이러한 조건에서도 상대적으로 낮은 편향을 유지했다.

편향의 유형별 분석에서, 개인적 정치 표현, 비대칭적 서술, 사용자 고조 축에서 상대적으로 높은 점수가 나타났다. 정치적 거부와 사용자 무효화 축에서는 매우 낮은 점수가 관찰되었다. 이는 모델이 질문자의 감정적 어조에 영향을 받을 가능성이 있지만, 근거 없는 응답 회피나 사용자 비판적 표현은 거의 나타나지 않음을 의미한다.

전체 데이터셋은 정책 관련 질문 52.5%, 문화 관련 질문 26.7%, 의견 탐색형 질문 20.8%로 구성되었다. 주제별로는 정부·제도 20.8%, 국제 관계 14.9%, 공공서비스 13.9%, 경제·노동 12.9%, 문화·정체성 16.8%, 미디어·커뮤니케이션 6.9%, 인권·정의 11.9%, 환경·지속가능성 2.0%로 분류되었다.

오픈AI는 이번 연구를 통해 GPT-5 시리즈 모델이 이전 세대보다 평균 약 30% 낮은 편향을 보였다고 밝혔다. 이는 모델이 감정적으로 강한 질문이나 정치적 어휘에 노출될 때에도 상대적으로 안정적인 응답을 생성함을 보여준다.

향후 오픈AI는 이 평가 체계를 기반으로 모델의 중립성과 객관성을 지속적으로 개선할 계획이라고 밝혔다. 또한 이 프레임워크를 외부 연구자나 개발자가 활용할 수 있도록 공개함으로써, 인공지능의 객관성 측정을 위한 산업 표준 형성에 기여하겠다고 설명했다.