부서 소개 저희 부서는 HyperCLOVA 및 차세대 Omni(텍스트·비전·오디오) 모델을 대규모 트래픽에서도 빠르고 안정적으로 서빙하기 위한 인프라를 만들고 있습니다. vLLM을 중심으로 sglang, TRT-LLM 등 인퍼런스 엔진을 활용·개발하며, prefix-aware routing, disaggregated serving, KV 캐시 아키텍처 등 시스템·인프라 레벨 최적화를 실제 서비스에 적용하는 것을 목표로 합니다. 논문과 최신 기술을 읽고 끝내지 않고, PoC → 성능 검증 → 서비스 반영까지 가져가는 엔지니어를 찾고 있습니다. 담당업무 1. 사내 LLM/Omni 모델 인퍼런스 플랫폼 개발·운영 • vLLM 기반 HyperCLOVA 서빙 및 GPT-OSS 등 오픈소스 모델 온보딩 • vLLM 관련 이슈 분석, 버그 수정 및 업스트림 컨트리뷰션 2. LLM 인퍼런스 기능 및 성능 최적화 • speculative decoding, batching, streaming 등 인퍼런스 최적화 기법 적용 • agentic AI / tool calling 등 고도화된 LLM 기능을 위한 서빙 로직 설계·구현 3. 클러스터·캐시 아키텍처 및 prefix-aware 서빙 설계 • llm-d 등 prefix-aware routing 도입 및 KV cache 정책 설계 • 다양한 워크로드에 맞는 스케줄링·캐시 전략을 적용해 지연시간/비용 최적화 4. Disaggregated serving 및 메모리 계층화 인프라 설계 • LMCache, Mooncake 등 구조를 참고해 모델·KV를 분리/공유하는 서빙 아키텍처 설계·실험 • GPU/CPU/원격 KV 등의 메모리 계층을 고려한 인퍼런스 인프라 설계 5. 인퍼런스 시스템 리서치·PoC 및 서비스 적용 • KVFlow 등 최신 시스템·인퍼런스 논문/레퍼런스를 분석하고 PoC 설계 • 실험 결과를 기반으로 실제 서비스 아키텍처를 개선하고, 필요 시 사내/외 공유·정리 자격요건 • 백엔드/플랫폼/ML 인프라/LLM 인퍼런스 등 관련 분야 3년 이상 실무 경험 또는 이에 준하는 대규모 시스템/인퍼런스 플랫폼 개발 경험이 있으신 분 • Python 기반 서비스/플랫폼 개발 경험이 있으신 분 • Docker 및 Kubernetes 등 컨테이너 환경에서의 서비스 운영 경험이 있으신 분 • PyTorch 기반 LLM 인퍼런스 파이프라인에 대한 기본 이해도가 있으신 분 • KV cache, batching, token streaming 등 개념을 이해하거나 빠르게 학습할 수 있는 능력을 보유하신 분 • 성능/안정성 이슈를 지표와 재현 가능한 형태로 정의하고, 개선 방향을 제안한 경험이 있으신 분 • 리서처·서비스팀·인프라팀 등과 원활히 협업할 수 있는 커뮤니케이션 능력을 보유하신 분 우대사항 • vLLM, sglang, TRT-LLM 등의 실사용 경험 또는 오픈소스 기여 경험이 있으신 분 • prefix-aware routing, KV cache 최적화, GPU/노드 자원 효율 개선 경험이 있으신 분 • 비전/오디오 등 멀티모달 인퍼런스 파이프라인 설계·운영 경험이 있으신 분 • LMCache, Mooncake, KVFlow 등 논문/기술 레포트를 실제 PoC·실험으로 옮겨본 경험이 있으신 분 • 시스템·ML 시스템 관련 발표 또는 문서/논문 작성 경험이 있으신 분 전형절차 및 기타사항 [전형절차] 서류전형(기업문화적합도 검사 및 직무 테스트 포함) ▶ 1차 인터뷰 ▶ 레퍼런스체크 및 2차 인터뷰 ▶ 처우협의 ▶ 최종합격 ※ 전형 절차는 일정 및 상황에 따라 변동 될 수 있으며, 전형 별 결과에 따라 절차(추가 인터뷰 등)가 추가될 수 있습니다. ※ 정해진 결과 발표 일정은 없으며, 지원서 검토 후 면접 일정은 대상자에게 개별로 안내 드릴 예정입니다. [근무지] 경기 성남시 분당구 불정로 6 (그린팩토리) ※ 근무지는 회사 내부 사정에 따라 변동될 수 있습니다.