[NAVER Cloud] HCX Multimodal DATA Filtering & Curation (체험형 인턴)

부서소개 저희 부서는 HyperCLOVA 를 기반으로, 이미지와 비디오 등의 Multimodal 도메인으로의 기능 확장을 위한 아키텍처 설계 및 모델 생산을 담당하고 있습니다. 최종적으로는 Native Multimodal 및 입출력 측면에서 Any to Any 까지의 확장을 목표로 하고 있으며, 2024년 9월 한국 최초로 Vision LLM 기능을 HyperCLOVA X 에 서비스 시작하였습니다. 또한 올해 4월에는 대한민국 AI 생태계를 위하여 국내 최초로 상업용 오픈소스 AI 모델을 공개하였습니다. (링크) Global Frontier Big Tech 와 경쟁하기 위해 NAVER 의 자산인 데이터와 기술 측면에서 오랫동안 축적된 경험과 우수한 인재 풀을 바탕으로 다양한 프로젝트에도 도전하고 있습니다. 이를 위해 확보된 데이터는 여러 도메인과 테스크에 걸쳐 매우 광범위하며 양도 상당한 수준에 도달해 있습니다. 학습 효율성을 증대시키고 전반적인 모델 성능의 향상을 꾀하는 것을 목표로 추가적인 양질의 데이터를 발굴하고 제작하거나, 기존에 확보된 데이터들을 여러 방법론을 통하여(Model Driven) 정교하게 Filtering 하고 Curation 함으로써 최적의 Data Recipe를 탐색해 나가고 있습니다. 담당업무 • Multimodal LLM 학습 전체 단계에 이르는 학습 및 평가 Dataset Design • 광범위한 Domain & Task 의 Multimodal LLM Data에 대하여 서로의 영향도 및 최종 성능에 미치는 영향 탐구 • 시나리오 특화 데이터 확보 및 최종 모델 성능 영향 증진 • Multimodal Data Filtering Method 개발 및 모델 학습 및 분석 • 최적의 Data Recipe 탐색을 위한 Curation Method 개발 및 모델 학습 및 분석 지원자격 • 국내/외 정규대학(학사) 재학생 또는 기졸업자 • 인턴십 기간(약 3개월) 동안 Full-Time 근무가 가능하신 분 • Multimodal Language Model (LLaVA, Qwen VL, DeepSeek VL)에 대한 기본적인 지식 및 학습 과정에 대한 이해를 갖추신 분 • 각 학습 단계별 Multimodal LLM 데이터의 특성, 종류에 대한 이해 및 신규 데이터 디자인 능력을 갖추신 분 • Python 활용 능력을 갖추신 분