[담당업무]

ㆍ데이터 플랫폼 아키텍처 설계 및 고도화: AI Agent 데이터 웨어하우스 구조를 기획, 설계하고, 서비스 고도화에 맞춰 BigQuery/Snowflake 기반의 확장 가능한 Modern Data Stack을 설계, 운영합니다.
ㆍAI/ML 파이프라인 구축: AI 모델이 학습하고 추론하는 데 필요한 비정형/정형 데이터 파이프라인(RAG, Vector Search 등)을 설계하고 구현합니다.
ㆍ데이터 워크플로우 오케스트레이션 혁신: 데이터의 수집, 가공, 서빙 흐름을 효율적으로 관리하기 위해 오케스트레이션 툴(Airflow, Prefect 등)을 선정하고 최적의 운영 환경을 구성합니다.
ㆍ외부 데이터 수집 및 연동: LinkedIn, HubSpot, Apollo 등 다양한 외부 데이터를 Agent가 이해할 수 있는 형태로 수집하고, 여러 시스템으로 동기화하는 양방향 파이프라인을 개발합니다.

[자격요건]

ㆍData Engineering 경력 5년 이상 혹은 그에 준하는 실력을 갖추신 분

ㆍPython 및 대용량 분산 처리 시스템 운영 역량: Python을 능숙하게 다루며, 대용량 분산 처리 시스템을 운영해 본 경험이 있는 분

ㆍVector DB 및 검색 엔진 이해도: 검색 엔진(Elastic Search / Postgres Vector) 운영 및 최적화 경험이 있으며, Vector DB Search의 원리를 이해하고 활용할 수 있는 분

ㆍ복합적인 데이터 파이프라인 경험: Airflow, Dagster, Prefect 등을 활용해 복잡한 의존성을 가진 워크플로우를 설계하고 운영해 본 경험

ㆍSQL 및 쿼리 최적화: 복잡한 분석 쿼리를 작성할 수 있고, 대용량 데이터 환경(BigQuery, Snowflake, Redshift 등)에서 비용과 속도를 고려한 파티셔닝/클러스터링 전략을 수립할 수 있는 분

[우대사항]

ㆍ AI / LLM 서비스 / MLOps 협업 경험: LLM 학습, 파인튜닝을 위한 데이터셋 구축 경험이 있거나, ML 엔지니어와 협업하여 Feature Store를 구축해 본 경험

ㆍ비정형 데이터 처리 경험: OCR, STT 결과물이나 PDF, HTML 등 다양한 포맷의 텍스트 데이터를 전처리하고 정제해 본 구체적인 경험

ㆍModern Data Stack 활용: DBT(Data Build Tool)를 활용한 데이터 모델링 및 Transformation 경험

ㆍIaC 및 클라우드 인프라: Terraform 등을 활용해 데이터 인프라를 코드로 관리(IaC)하고, AWS/GCP 환경에서 데이터 파이프라인을 구성해 본 경험

ㆍ적극적인 커뮤니케이션: 백엔드 엔지니어, AI 연구원 등 다양한 직군과 협업하며 데이터 인터페이스를 정의하고 조율하는 데 능숙한 분