부서소개 저희 부서는 HyperCLOVA 를 기반으로, 이미지와 비디오 등의 Multimodal 도메인으로의 기능 확장을 위한 아키텍처 설계 및 모델 생산을 담당하는 팀 입니다. 최종적으로는 Native Multimodal 및 입출력 측면에서 Any to Any 까지의 확장을 목표로 하고 있습니다. 2024년 9월 한국 최초로 Vision LLM 기능을 HyperCLOVA X 에 서비스 시작하였고 특히 올해 4월에는 대한민국 AI 생태계를 위하여 역시 국내 최초로 상업용 오픈소스 AI 모델을 공개했습니다(링크). Global Frontier Big Tech 와 경쟁하기 위해 NAVER의 자산인 데이터와 기술 측면에서 오랫동안 축적된 경험과 우수한 인재를 바탕으로 다양한 프로젝트에 도전하고 있습니다. 담당업무 Vision Language Model 개발: Multimodal 확장을 위한 효과적인 Architecture 완성 및 Benchmark 전반에 대한 동일 학습 수준 경쟁 모델 대비 우위 달성 • Real-time streaming/efficient multimodal understanding를 위한 multimodal (vision) encoding 에 대한 실증적인 architecture design • Distributed Training(FSDP, Zero), Sequence Packing, Sequence Parallel 등 VLM 학습 효율 개선을 위한 기술 stack 적용 및 개발 • 추가적인 Modality(Audio i/o, Image Video o) 확장을 위한 유관부서 communication • Hyperscale 규모의 GPU 자원 (IF 로 묶인 GPU Cluster)에서의 VLM Ablation, 학습 및 생산 • Public Benchmark SOTA 달성을 위한 Small Scale Ablation 및 분석 Multimodal Pretraining: 경쟁사 수준의 학습량에 도달하는 Vision Backbone Model 확보 및 최종 성능 향상. Omni modality로의 확장 • Hyperscale 규모의 GPU 자원 (InfiniBand 로 묶인 GPU Cluster)을 활용한 Multimodal Backbone에 Vision 능력 추가를 위한 모델 학습 • Hyperscale 규모의 GPU 자원을 활용한 Backbone 생산을 위한 FW 도입과 관련된 Engineering • 다양한 Multimodal Backbone 이 최종 모델의 성능에 미치는 영향 탐색 • 효과적인 Pretraining Recipe 탐색과 Pretraining Data 에 대한 Curation 및 Filtering 작업 • Distributed Training(FSDP, Zero, Megatron), Sequence Packing, Sequence Paralle 등 VLM 학습 효율 개선을 위한 적용 및 개발 자격요건 • 박사 학위 보유자 혹은 2년 이상의 유관 업무 경력을 보유하신 분 • VLM (LLaVA, Qwen VL, DeepSeek VL 등)의 구조 및 학습 과정에 대한 상세한 이해와 학습 경험 및 Code Level 경험을 보유하신 분 • Distributed Training 및 모델 가속에 대한 이해 또는 경험 (DeepSpeed Zero, Megatron, Nemo, vLLM, sglang 등)을 보유하신 분 • 각 학습 단계 별 Vision LLM 데이터의 특성, 종류에 대한 이해가 있으신 분 • Python 및 LLM 개발 관련 Library, FW, Platform(Pytorch, Hugging Face) 활용 능력을 보유하신 분 우대사항 • 상용 수준의 Vision Language Model 개발 경험을 보유하신 분 • 대규모 GPU Infra 운용 경험 (Multinode, Slurm, K8S)을 보유하신 분 • Top-tier 논문 1저자 이력이 있으신 분 • LLM, VLM 관련 학위를 보유하신 분 • LLM, VLM 관련 Challenge 참가 경험 또는 상위 입상 경험을 보유하신 분 • 최소 3개월 이상 소요된 팀 프로젝트를 성공적으로 완료한 경험과 해당 프로젝트를 성공으로 이끈 데에 기여도가 높으신 분 • 상기 담당업무 중 하나를 진행함에 있어 최고 수준의 역량을 보유하신 분 전형절차 및 기타사항 [전형절차] 서류 전형(기업문화적합도 검사 및 직무 테스트 포함) ▶ 1차 인터뷰 ▶ 레퍼런스체크 및 2차 인터뷰 ▶ 처우협의 ▶ 최종합격 ※ 1차 인터뷰 전형에 Job Talk 및 논문 세미나가 포함될 수 있습니다. ※ 전형 절차는 일정 및 상황에 따라 변동 될 수 있으며, 전형 별 결과에 따라 절차(추가 인터뷰 등)가 추가될 수 있습니다. ※ 정해진 결과 발표 일정은 없으며, 지원서 검토 후 면접 일정은 대상자에게 개별로 안내 드릴 예정입니다. [근무지] 경기 성남시 분당구 불정로 6 (그린팩토리) ※ 근무지는 회사 내부 사정에 따라 변동될 수 있습니다.