구글이 공개한 ‘제미니(Gemini)’의 경량 버전인 ‘제미나이 프로’가 오픈AI의 ‘GPT-3.5 터보’보다 성능이 떨어진다는 첫 외부 테스트 결과가 나왔다.
벤처비트는 19일(현지시간) 카네기 멜론 대학교와 스타트업 베리AI의 연구진이 구글의 제미니 프로, 오픈AI의 GPT-3.5 터보 및 GPT-4 터보, 오픈 소스 '믹스트랄 8x7B' 등 4가지 대형언어모델(LLM)을 비교 테스트한 결과를 아카이브에 게재했다고 소개했다.
벤처비트에 따르면, 제미나이 프로는 GPT-3.5 터보와 비슷하거나 약간 낮은 정확도를 기록했다. 이는 구글이 주장한 제미나이 프로의 우수성이 과장됐을 수 있다는 지적을 실질적으로 뒷받침하는 결과로 보인다.
제미니 프로는 바드 AI 챗봇에 맞춰 다양한 작업에 확장 가능하도록 설계된 중간급 크기의 모델이며, 더 뛰어난 모델인 ‘울트라’는 내년 출시될 예정이다. 연구진은 지식 기반 질의응답 테스트에서 제미니 프로가 GPT-3.5 터보보다 성능이 떨어지고 GPT-4와 비교할 수 없는 수준임을 밝혔다. 테스트에서 제미나이 프로는 사지선다형 답변 중 ‘D’를 더 많이 선택하는 경향을 보였으며, 특정 범주의 질문에서 성능이 크게 떨어지는 것으로 확인됐다.
제미니 프로는 언어 간 번역에서 우수한 실력을 보였지만, 10개 언어 쌍에서 응답을 거부하는 경향이 있었다. 구글은 울트라 모델 출시 전까지 오픈AI에 뒤처진다는 평가를 받을 것으로 보이며, 내부에서 GPT-4의 성능을 뛰어넘는지 확신하지 못한 것으로 추정된다. 이번 테스트 결과는 구글의 제미니 프로의 성능과 관련된 논란에 추가적인 불확실성을 더하고 있다.
댓글
0