직무소개
업무내용
• 카카오페이증권 서비스 내/외에서 발생하는 다양한 데이터를 수집/가공하여 데이터 기반 의사결정을 지원하는 데이터플랫폼을 구축하고 개발해요.
• 대용량 데이터 파이프라인을 설계, 개발 및 운영해요.
• 빠르고 유연하며 안정적으로 확장할 수 있는 데이터 파이프라인 모듈 및 시스템을 개발해요.
• 데이터 정합성 및 데이터 파이프라인 메타데이터 관리를 할 수 있는 프로세스 / 시스템을 개발해요.
• 데이터 파이프라인 개발과 관련하여 주니어 및 동료 엔지니어들을 멘토링하고 지도해요.
• 데이터플랫폼 개선과 관련한 신규 기술을 리서치하고 도입해요.
자격요건(필수)
• 빅데이터 엔지니어링 관련 분야 개발 경력 7년 이상이고 데이터 파이프라인 운영 경험이 있으신 분을 원해요.
• Kafka, Spark, Hadoop 등 대용량 데이터 처리 기술에 대한 이해와 활용 경험이 있으신 분을 원해요.
• Python/Java 중 하나 이상의 프로그래밍 언어에 능숙하신 분을 원해요.
• 사내에서 Frontend/Backend 기술을 이용하여 데이터 관련 툴을 개발해보신 경험이 있으신 분을 찾아요.
• 데이터 거버넌스와 데이터 정합성/파이프라인 메타데이터 관리에 대한 이해가 있으신 분을 찾아요.
우대사항(선택)
• Spark, Kafka 및 Kafka connect, stream, KSQL, Flink 기반의 배치 / 실시간 데이터 파이프라인 개발 및 운영 경험이 있으신 분이면 좋아요.
• k8s 환경에서 데이터 파이프라인 및 시스템 개발 경험이 있으신 분이면 좋아요.
• 클라우드 및 on-premise 환경에서 개발 경험이 있으신 분이면 좋아요.
• 데이터 정합성 / 파이프라인 메타데이터 관리에 대한 니즈를 이해하고 관련 지표를 수립하고 개선시킨 경험이 있으신 분이면 좋아요.
• 다양한 상황에서 최적의 솔루션을 찾을 수 있는 문제해결 능력과 원활한 커뮤니케이션 역량이 있으신 분이면 좋아요.
기술스택
• DevOps : k8s, argocd, jenkins
• 실시간 파이프라인 : kafka, kafka connect, kafka stream
• 배치 파이프라인 : informatica, spark
• 빅데이터 : hadoop, hive, impala, kudu, trino
채용 프로세스
• 서류전형 → 1차 현업 인터뷰 → 2차 최종 인터뷰 → 처우협의 → 입사일 조정
(레퍼런스 체크는 필요에 따라 진행될 수 있어요.)
💻 카카오페이증권 기술 블로그