NAVER Cloud, HyperCLOVA X Omni-modal Backbone Model 개발 체험형 인턴 모집

NAVER Cloud가 HyperCLOVA X Omni-modal Backbone Model 개발 직무의 체험형 인턴 채용을 진행할 예정이다. 해당 부서는 HyperCLOVA를 기반으로 이미지·비디오 등 멀티모달 기능 확장을 위한 아키텍처 설계 및 모델 생산을 담당하며, 입출력 측면에서 Any to Any까지의 확장을 목표로 하고 있는 조직으로, 2024년 9월 국내 최초로 Vision LLM 기능을 HyperCLOVA X에 서비스한 바 있다.

이번 인턴십에서는 MoE 기반의 Multimodal Backbone Model 확보를 통해 최종 성능 향상에 기여하는 업무를 경험하게 된다. 구체적으로는 InfiniBand로 연결된 GPU 클러스터 등 Hyperscale 규모의 GPU 자원을 활용해 Multimodal Backbone에 Vision 및 Audio 능력을 추가하기 위한 모델 학습을 담당하게 되며, Backbone 생산을 위한 FW 도입과 관련된 엔지니어링 작업도 함께 수행하게 된다. 또한 다양한 Multimodal Backbone이 최종 모델 성능에 미치는 영향을 탐색하고, 효과적인 Pretraining Recipe를 찾아내는 한편 Pretraining Data에 대한 Curation 및 Filtering 작업을 진행하며, Distributed Training(FSDP, Zero, Megatron), Sequence Packing, Sequence Parallel 등 학습 효율 개선을 위한 기술을 적용하고 개발하는 역할도 맡게 된다.

지원 자격은 국내외 정규대학(학사) 재학생 또는 기졸업자이며, LLM 및 LLM 기반 Vision-Language Model(LLaVA, Qwen VL, DeepSeek VL, Nemotron Omni)에 대한 기본적인 지식과 학습 과정에 대한 구체적인 이해도(모델 아키텍처, 데이터, Loss 등)를 갖춘 분, Distributed Training(DeepSpeed, PyTorch FSDP 등)에 대한 이해도를 보유한 분, Python 활용 역량을 갖춘 분을 대상으로 한다. 우대사항으로는 상용 수준의 Vision Language Model 개발 경험, 대규모 GPU Infra(Multi-node, Slurm, Kubernetes) 운용 경험, Top-tier 학회 또는 저널 논문 제1저자 경험, LLM·VLM·MLLM(Omni-modal) 관련 학위 보유, 관련 Challenge 참가 또는 상위 입상 경험, 최소 3개월 이상 수행한 팀 프로젝트를 성공적으로 완료하며 높은 기여를 한 경험 등이 있으며, 자격 요건을 모두 충족하지 않더라도 담당 업무 중 하나 이상의 영역에서 최고 수준의 역량을 보유한 경우에도 지원이 가능하다.

근무지는 경기도 성남시 분당구 불정로 6 그린팩토리이며, 자세한 내용은 'NAVER Cloud'의 홈페이지에서 확인할 수 있다.