기획/이슈

코넬 대학교, 대규모 '다중 모달 사전 훈련 모델': 종합 연구 조사

BERT, ViT, GPT 등과 같은 많은 사전 훈련된 큰 모델 제안 '다중 모달 사전 훈련'의 배경을 소개하기 위해 자연어 처리 대규모 MM-PTMs의 유효성 검증에 사용되는 다운스트림 작업 소개

서욱 기자 입력 2023.11.01 17:59 수정 2026.08.09 01:17 1

'다중 모달 사전 훈련 모델(MM-PTMs, Multi-Modal Pre-trained Models)'의 작업 정의, 핵심 도전 과제 및 장점을 소개하고, 데이터, 목표, 네트워크 구조 및 지식 강화 사전 훈련에 중점을 둔 MM-PTMs를 논의한다. 이어서, 대규모 MM-PTMs의 유효성 검증에 사용되는 다운스트림 작업들을 소개한다. 이에는 생성, 분류 및 회귀 작업이 포함된다.(사진=코넬대학교 제공)

딥 모델의 일반화에 대한 절실한 요구로 인해 BERT, ViT, GPT 등과 같은 많은 사전 훈련된 큰 모델들이 제안되었다.

지난달 31일 미국의 코넬 대학교 발표에 의하면, 이러한 모델들이 컴퓨터 비전 및 자연어 처리와 같은 단일 도메인에서의 성공에 영감을 받아, 최근 몇 년 동안 '다중 모달 사전 훈련' 큰 모델들이 점점 더 주목을 받고 있다.

본 연구에서는 이러한 모델들에 대한 종합적인 조사를 제공하며, 이 논문이 최신 연구를 추적하는 신입 연구자들에게 새로운 통찰력과 도움을 제공할 수 있기를 바란다고 밝혔다.

먼저, '다중 모달 사전 훈련'의 배경을 소개하기 위해 자연어 처리, 컴퓨터 비전 및 음성에서의 전통적인 딥 러닝 및 사전 훈련 작업들을 검토한다. 그런 다음, '다중 모달 사전 훈련 모델(MM-PTMs, Multi-Modal Pre-trained Models)'의 작업 정의, 핵심 도전 과제 및 장점을 소개하고, 데이터, 목표, 네트워크 구조 및 지식 강화 사전 훈련에 중점을 둔 MM-PTMs를 논의한다. 이어서, 대규모 MM-PTMs의 유효성 검증에 사용되는 다운스트림 작업들을 소개한다. 이에는 생성, 분류 및 회귀 작업이 포함된다.

또한 대표적인 다운스트림 작업에서의 모델 매개변수 및 결과에 대한 시각화 및 분석을 제공한다. 마지막으로, 이 주제에 대한 향후 작업에 도움이 될 수 있는 연구 방향을 제시한다.