[NAVER Cloud] Multimodal Backbone Model (체험형 인턴)

부서소개 저희 부서는 HyperCLOVA 를 기반으로, 이미지와 비디오 등의 Multimodal 기능 확장을 위한 아키텍처 설계 및 모델 생산을 담당하고 있습니다. 입출력 측면에서 Any to Any 까지의 확장을 목표로 하고 있으며, 2024년 9월 한국 최초로 Vision LLM 기능을 HyperCLOVA X 에 서비스 시작하였습니다. 또한 올해 4월에는 대한민국 AI 생태계를 위하여 국내 최초로 상업용 오픈소스 AI 모델을 공개하였습니다. (링크) Global Frontier Big Tech 와 경쟁하기 위해 NAVER 의 자산인 데이터와 HyperCLOVA 경험, 그리고 우수한 인재 풀을 바탕으로 다양한 프로젝트에 도전하고 있습니다. Pretrained Language Model 로 출발하여 Supervised Fine Tuning 을 통한 Vision 관련 능력을 추가하는 형태의 pipeline 은 일반적으로 잘 알려져 있는 형태의 VLM 생산 공정입니다. 그러나 Pretrain 단계부터 여러 Modality 들을 통합 학습하여 근본적인 Vision 관련 역량을 끌어올리는 Omni 형태의 Training 의 경우 실제 효과에 대한 Ablation 내용이 공개되어 있지 않은 실정입니다. 저희는 Vision Foundation Model 로서 전반적 성능 향상을 목적으로 더 나은 Multimodal Backbone 을 생산하기 위해 노력하고 있습니다. 담당업무 Multimodal Pretraining : 경쟁사 수준의 학습량에 도달하는 MoE 기반의 Multimodal Backbone Model 을 확보하여 최종 성능 향상에 유의미한 영향 • Hyperscale 규모의 GPU 자원 (InfiniBand 로 묶인 GPU Cluster)을 활용한 Multimodal Backbone에 Vision 및 Audio 능력 추가를 위한 모델 학습 • Hyperscale 규모의 GPU 자원을 활용한 Backbone 생산을 위한 FW 도입과 관련된 Engineering • 다양한 Multimodal Backbone이 최종 모델 성능에 미치는 영향 탐색 • 효과적인 Pretraining Recipe 탐색과 Pretraining Data 에 대한 Curation 및 Filtering 작업 • Distributed Training(FSDP, Zero, Megatron), Sequence Packing, Sequence Paralle 등 학습 효율 개선을 위한 적용 및 개발