D:테일

어도비, 5초 만에 2D 이미지를 3D로 변환하는 AI 기술 발표

LRM은 5억 개 이상의 매개변수를 갖는 확장성 있는 트랜스포머 기반 신경망 아키텍처를 사용 이 기술은 엔비디아 A100 GPU를 사용해 단 5초 만에 2D를 3D로 전환할 수 있어 휴대폰으로 찍은 사진도 3D 모델로 변환 가능...누구나 창의적이고 상업적인 기회 제공

서욱 기자 입력 2023.11.16 12:05 수정 2026.08.24 16:43 2

LRM은 매개변수 5억개가 넘는 매개변수를 가진 확장성이 뛰어난 트랜스포머 기반 신경망 아키텍처를 사용한다.

어도비가 5초 만에 2D 이미지를 3D로 바꿀 수 있는 혁신적인 인공지능(AI) 기술을 선보였다고 벤처비트가 9일 보도했다. 이 기술은 게임, 애니메이션, 산업 디자인, 증강현실(AR), 가상현실(VR) 등 다양한 분야에 혁신을 가져올 것으로 예상된다.

어도비 리서치와 호주국립대학교 연구진은 단일 이미지를 3D로 변환하는 '대규모 재구성 모델(LRM)'에 대한 논문을 arXiv에 발표했다. LRM은 5억 개 이상의 매개변수를 갖는 확장성 있는 트랜스포머 기반 신경망 아키텍처를 사용한다. 이전의 소규모 데이터셋 학습 방식과 달리, 이 기술은 세계 최대 규모의 오픈 소스 3D 데이터셋인 '옵자버스(Objaverse)'와 MVImg넷을 통해 약 100만 개의 3D 객체를 학습했다.

연구진은 "LRM이 대규모 데이터 학습과 대형 모델을 통해 고품질의 3D 이미지를 생성할 수 있다"며, "이는 3D 재구성 모델 분야에서 최초의 시도"라고 밝혔다. 실험 결과, LRM은 실제 이미지뿐만 아니라 '달리'나 '스테이블데퓨전'과 같은 AI 생성 이미지로부터도 3D 모델을 재구성할 수 있었으며, 나무결과 같은 섬세한 질감까지 표현할 수 있다고 전했다.

소스 코드는 여기(Nerfies)에서 가져왔으며, Creative Commons Attribution-ShareAlike 4.0 International License에 따라 라이선스가 부여되었다. 어도비가 5초 만에 2D 이미지를 3D로 바꿀 수 있는 획기적인 생성 인공지능(AI) 기술을 선보였다. 이를 통해 게임이나 애니메이션, 산업 디자인은 물론 증강현실(AR)과 가상현실(VR) 등 산업 분야에 혁신을 일으킬 수 있다고 주장했다.

특히 이 기술은 엔비디아 A100 GPU를 사용해 단 5초 만에 2D를 3D로 전환할 수 있다. 연구진은 이 모델이 다양한 산업에 적용될 경우 시간과 비용을 크게 절감할 수 있을 뿐만 아니라, AR이나 VR에서는 2D 이미지를 거의 실시간으로 3D로 전환해 사용자 경험을 향상시킬 수 있다고 강조했다.

더불어 이 기술은 휴대폰으로 찍은 사진을 3D 모델로 변환하는 것이 가능해, 모든 사람에게 창의적이고 상업적인 기회를 제공할 수 있다고 전했다. 한편, 스테이블 디퓨전 플랫폼에도 최근 '스테이블 3D' 모델이 추가되어, 게임과 산업 분야에 활용될 수 있다고 발표되었다. 국내에서는 리컨랩스가 이미 비슷한 기술을 서비스 중이다.

연구진은 LRM이 일부 영역에서는 3D 텍스처가 흐릿하게 표현될 수 있다는 한계를 인정하면서도, 대규모 데이터셋 학습을 통한 트랜스포머 기반의 대형 이미지 모델의 가능성을 보여주었다고 강조했다. 그동안 이미지 생성 AI는 주로 확산 모델 기반이었지만, LRM은 트랜스포머 기반의 새로운 시도라는 점에서 주목을 받고 있다.