[담당업무]

・ 데이터 플랫폼 아키텍처 설계 및 고도화: AI Agent 서비스의 핵심이 되는 데이터 웨어하우스 구조를 주도적으로 설계합니다. 서비스 확장과 데이터 증가를 전제로 BigQuery, Snowflake 기반의 확장 가능한 Modern Data Stack을 구축하고 운영하며, 단기 구현이 아닌 장기적인 데이터 표준과 아키텍처 방향성을 함께 정의합니다.
・ AI/ML 파이프라인 설계 및 구현: AI 모델의 학습과 실시간 추론을 지원하기 위해 정형/비정형 데이터를 아우르는 데이터 파이프라인을 설계합니다. RAG, Vector Search 등 Agent 기반 AI 서비스에 특화된 데이터 흐름을 직접 구현하며, 모델 성능과 서비스 품질에 직결되는 데이터 구조를 책임집니다.
・ 데이터 워크플로우 오케스트레이션 고도화: 데이터 수집 ＞ 가공 ＞ 서빙 전 과정을 안정적이고 효율적으로 관리하기 위한 오케스트레이션 환경을 설계합니다. Airflow, Prefect 등 도구 선정부터 운영 전략까지 주도하며, 운영 복잡도를 줄이고 신뢰성 높은 데이터 파이프라인을 구축합니다.
・ 외부 데이터 수집 및 양방향 연동 파이프라인 개발: LinkedIn, SalesForce 등 다양한 외부 세일즈 데이터를 수집, 정규화하여 AI Agent가 이해하고 활용할 수 있는 형태로 가공합니다. 여러 시스템 간 데이터 동기화를 위한 양방향 파이프라인을 설계하고 구현하며, 실제 세일즈 성과로 이어지는 데이터 흐름을 만듭니다.

[자격요건]

경력 및 기본 역량

・ Data Engineering 분야에서 3년 이상의 실무 경험을 보유했거나, 이에 준하는 기술적 깊이와 문제 해결 역량을 갖추신 분

・ 단순 구현이 아닌, 데이터 구조와 흐름을 스스로 설계하고 개선해 본 경험이 있는 분

Python 및 분산 데이터 처리 역량

・ Python을 주 언어로 활용해 데이터 파이프라인을 개발하고 운영해 본 경험이 있으며

・ 대용량 데이터 환경에서 분산 처리 시스템을 안정적으로 운영해 본 경험이 있는 분

Vector DB 및 검색 시스템 이해도

・ Elasticsearch, Postgres Vector 등 검색·벡터 기반 시스템을 운영하거나 성능을 개선해 본 경험이 있으며

・ Vector Search의 기본 원리와 활용 시나리오를 이해하고, 서비스 요구사항에 맞게 적용할 수 있는 분

복잡한 데이터 파이프라인 및 오케스트레이션 경험

・ Airflow, Dagster, Prefect 등 오케스트레이션 도구를 활용해 의존성이 높은 데이터 워크플로우를 설계하고 운영한 경험이 있는 분

・ 장애 대응, 재처리, 스케줄 관리 등 운영 관점의 고민을 해본 경험이 있는 분

SQL 및 대규모 데이터 환경 최적화 경험

・ 복잡한 분석 쿼리를 직접 작성할 수 있으며

・ BigQuery, Snowflake, Redshift 등 대용량 데이터 환경에서 비용과 성능을 고려한 파티셔닝, 클러스터링, 쿼리 최적화 경험이 있는 분

[우대사항]

AI/LLM 서비스 및 MLOps 협업 경험

・ LLM 학습이나 파인튜닝을 위한 데이터셋 구축 경험이 있거나

・ ML 엔지니어와 협업하여 Feature Store, 학습, 추론 파이프라인을 설계하거나 운영해 본 경험이 있는 분

・ 모델 성능과 데이터 구조의 관계를 이해하고, 데이터 관점에서 모델 품질 개선에 기여한 경험이 있는 분

비정형 데이터 처리 및 정제 경험

・ OCR, STT 결과물, PDF, HTML 등 다양한 비정형 텍스트 데이터를 서비스 활용 목적에 맞게 전처리/정규화/품질 관리해 본 구체적인 경험이 있는 분

・ 단순 파싱이 아닌, 검색/추론/분석 활용을 고려한 데이터 구조화를 해본 분

Modern Data Stack 기반 데이터 모델링 경험

・ dbt(data build tool) 활용해 데이터 모델링 및 Transformation을 수행해 본 경험 있으며

・ 데이터 품질, 재사용성, 테스트 가능성을 고려한 분석 or 서빙 레이어 설계 경험 있는 분

IaC 및 클라우드 데이터 인프라 경험

・ Terraform 등 IaC 도구를 활용해 데이터 인프라를 코드로 관리해 본 경험이 있으며

・ AWS 또는 GCP 환경에서 데이터 파이프라인 및 스토리지를 구성하고 운영해 본 경험이 있는 분

・ 환경 분리, 비용 관리, 보안 등 운영 관점까지 고려한 인프라 설계 경험이 있는 분

기술 중심의 협업 및 커뮤니케이션 역량

・ 백엔드 엔지니어, AI 연구원 등 다양한 직군과 협업하며 데이터 인터페이스, 스키마, 책임 범위를 명확히 정의해 본 경험이 있는 분

・ 기술적 선택의 배경과 트레이드오프를 논리적으로 설명하고 조율할 수 있는 분