[NAVER Cloud] Multimodal VLOps (체험형 인턴)

부서소개 저희 부서는 HyperCLOVA를 기반으로 이미지와 비디오 등 멀티모달 기능 확장을 위한 아키텍처 설계 및 모델 생산을 담당하고 있습니다. 2024년 9월 국내 최초로 HyperCLOVA X에 Vision LLM 기능을 도입해 서비스를 시작하였고, 25년 4월에는 대한민국 AI 생태계를 위해 상업용 오픈소스 AI 모델을 공개하기도 했습니다. 글로벌 빅테크 기업들과 경쟁하는 것이 어려운 과제임은 분명하지만, 네이버의 방대한 데이터와 HyperCLOVA의 운영 경험, 그리고 우수한 인재 풀이 있기에 가치 있는 도전이라고 생각합니다. 특히 저희는 대규모 멀티모달 모델의 학습부터 평가, 서빙까지 이어지는 엔드투엔드 생산 파이프라인을 책임지고 있습니다. 팀 내 VLOps 서브미션은 VLM 모델 생산 과정의 파이프라인을 설계하고, 각 단계에서 발생하는 다양한 기술적 이슈들을 해결하는 데 집중합니다. 이는 VLM에 대한 깊은 이해와 이를 안정적으로 운영하기 위한 MLOps 지식을 동시에 요구하는 고난도의 엔지니어링 과제입니다. 고속화된 API 제공, 대규모 데이터 I/O 최적화, 생산 파이프라인 자동화 등 멀티모달 특화 프레임워크를 개발해 전체 생산 사이클을 효율화하는 것을 목표로 합니다. VLM 모델링 경험과 MLOps 엔지니어링 역량을 모두 갖춘 인재와 함께할 수 있기를 기다립니다. 담당업무 Vision Language Model 개발을 위한 Engineering 및 MLOps • Event driven 시스템 개발 및 대규모 멀티모달 데이터 파이프라인 구축 - 데이터 정제, 모델 학습/평가/서빙 자동화를 지원하는 Event Driven 시스템 개발 및 운영합니다. - 대규모 멀티모달 데이터의 비동기 처리 파이프라인을 구축하고 생산 전 과정을 자동화하여 모델 배포 주기를 단축합니다. • 실시간 대화형 LLM 서비스 스트리밍 API 및 프로토콜 설계 - 실시간 대화형 LLM 서비스(텍스트/음성/멀티모달)를 위한 양방향 스트리밍 API 및 프로토콜 설계합니다. - 저지연 인터랙션을 구현하기 위해 실시간 데이터 전송 최적화와 효율적인 통신 구조를 설계합니다. • HyperCLOVA 서빙 파이프라인 모델 배포 규격 및 프로세스 정립 - 모델 Packaging 및 유관부서와 Interface Communication을 포함한 HyperCLOVA 서빙 파이프라인 개발합니다. - 연구된 모델이 실제 프로덕션 환경에 안정적으로 이식될 수 있도록 표준화된 모델 배포 규격과 연동 프로세스를 정립합니다. • 사내 인프라 서비스 개발/운영 및 지표 시각화 - 데이터 관리 툴 및 대시보드 등 사내 인프라 서비스의 개발 및 운영합니다. - 모델 생산 사이클 전반의 지표를 시각화하고 대규모 데이터셋을 효율적으로 관리할 수 있는 내부 도구를 개발합니다. • Omni LLM 추론 프레임 워크 개선 및 가속화 - vLLM 등을 이용한 Omni LLM 추론 프레임워크 개선/개발 및 가속화합니다. - 최신 추론 최적화 기법을 적용하여 거대 모델의 서빙 비용을 절감하고 실시간 서비스 응답 속도를 극대화합니다.