[NAVER Cloud] Multimodal VLOps (경력)

부서소개 저희 부서는 HyperCLOVA 를 기반으로, 이미지와 비디오 등의 Multimodal 기능 확장을 위한 아키텍처 설계 및 모델 생산을 담당하며, 입출력 측면에서 Any to Any 까지의 확장을 목표로 하고 있습니다. 저희 부서에서 2024년 9월 한국 최초로 Vision LLM 기능을 HyperCLOVA X 에 서비스 시작하였고, 특히 올해 4월에는 대한민국 AI 생태계를 위하여 역시 국내 최초로 상업용 오픈소스 AI 모델을 공개(링크) 하기도 했습니다. Global Frontier Big Tech 와 경쟁하는것은 터프한 과제임이 분명하지만, NAVER에서 축적한 데이터와 HyperCLOVA의 개발 이래 축적된 경험과 우수한 인재 풀이 있기 때문에 할 수 있는 가능성 있는 도전이라고 생각합니다. 저희 부서는 대규모 Multimodal Model의 학습·평가·서빙까지 이어지는 E2E 생산 파이프라인을 책임지고 있으며, 이들 각각은 모델의 크기와 데이터의 규모로 인해 연구적으로도, 엔지니어링적으로도 Challenge가 발생합니다. 부서 내 VLOps 서브미션은 생산 과정에서 발생하는 Engineering challenge를 해결하는 데 집중하고 있습니다. 기능적으로는 고속화된 API의 제공, 대규모 데이터 I/O 최적화, 생산 파이프라인의 자동화를 목표로 하고 있으며, 각각에 해당하는 프레임워크를 개발해 전체 생산 사이클의 효율화를 추진하고 있습니다. 이를 위해 부서 내의 AI Engineer로서 Multimodal LLM의 모델링 경험과 Engineering 역량을 모두 갖춘 인재와 함께하고 싶습니다. 담당업무 • 데이터 정제, 모델 학습/평가/서빙 자동화를 지원하는 Event Driven 시스템 개발 및 운영 • 실시간 대화형 LLM 서비스(텍스트/음성/멀티모달)를 위한 양방향 스트리밍 API 및 프로토콜 설계 • 모델 Packaging 및 유관부서와 Interface Communication을 포함한 HyperCLOVA 서빙 파이프라인 개발 • 데이터 관리 툴 및 대시보드 등 사내 인프라 서비스의 개발 및 운영 • vLLM 등을 이용한 Omni LLM 추론 프레임워크 개선/개발 및 가속화