데이터 엔지니어링 팀은 직방의 사용자들로 부터 데이터를 수집하고 데이터 분석에 적합 형태로 처리하며, 데이터를 잘 분석할수 있도록 플랫폼을 구축하며 직방에서 데이터를 보고자하는 사람들과 고객들에게 분석된 데이터를 제공하는 역할을 하고 있습니다.


기술적인 측면에서는 대량의 데이터를 적시에 적합한 방법을 통해 제공하기 위해서는 대량 데이터 Processing, 실시간 처리, 시스템 안정성, Data Manipulation, Visualization 등이 필요합니다.

해당 기술들을 연구하고 시험해보며 도입하고 실제 적용하는데 있어서 개발자들이 주도적으로 기술적인 Roadmap 을 확장/발전시키고 있으며, 그를 통해 회사의 데이터 활용성을 높이는 목표를 이루는데 있어서 기여하고 있습니다.


주요업무

• 데이터 수집

- Kinesis를 통한 사용자로그수집

- RDS, DocumentDB에서 데이터를 수집해서 DataLake구성

- cdc 툴을 사용해서 RDS데이터 실시간 수집

• 데이터 처리 및 mart 설계

- airflow, spark sql 를 사용해서 data mart/summary 개발

- AI/ML

- feature 개발 및 데이터처리/저장/관리

- AI/ML algorithm 적용해서 데이터 생성

- spark streaming, druid 활용으로 실시간 사용자 로그분석

• 데이터 제공

- tableau dashboard개발

- 분석데이터 및 query제공

• DataOps kubernetes 를 통한 data platform 구성, 장애처리 및 개선, Helm/Yaml 설정 및 설치

- airflow 설치/upgrade/기능개선

• Tableau서버관리

- 데이터 관리


자격요건

• 분산/확장성있는 데이터 플랫폼 개발/운영경험

• SQL, Python등을 통한 대량 데이터 처리/성능개선 경험

• RDB, NoSQL, MPP 등의 데이터베이스 사용 경험


우대사항

• AWS/GCP등의 cloud 를 통한 데이터플랫폼 구축 - s3, ec2, EMR, glue, athena, kinesis

• 다양한 data solution 사용경험 - Spark, Airflow, Presto, Druid, Superset, ElasticSearch(ELK), Tableau, Kinesis, Kafka

• DataOps관련 - Kubernetes, Git flow, Docker container, Linux

• 데이터 엔지니어링을 통한 플랫폼을 처음부터 구축

• 위에 나열한 데이터 플랫폼 관련 제품에 대한 깊은 이해


기술스택

• SQL, python, scala

• Spark/Spark Streaming

• Apache Airflow

• Presto/Trino

• Druid/ElaticSearch

• Grafana, Prometheus

• Mysql, Redshift 등 databases

• AWS s3, glue, ec2, EMR, Kinesis, EKS, 보안 및 network

• Tablleau, Superset, Redash

• Kubernetes, Docker, Container


전형절차

• 서류 심사 > 코딩 테스트 > 실무 면접 > 리드 면접 > 임원 면접 > 처우 협의 > 최종합격

• 전형일정은 서류 합격자에 한하여 개별 연락 드립니다.

• 직무에 따라 면접 전형은 변경될 수 있으며, 각 단계별 합격자에게 상세하게 안내드릴 예정입니다.


지원 시 유의사항

• 지원서 내용 중 허위사실이 있는 경우 합격이 취소될 수 있습니다

• 산업기능요원 및 전문연구요원으로 지원하시는 경우 가능여부를 반드시 확인 후 지원 바랍니다.

• 결과 및 이후 전형에 대한 안내를 위해 지원 시 성명, 연락처, 이메일 주소를 정확히 입력하세요.

• 국가유공자 및 장애인 등 취업 보호 대상자는 관계 법령에 따라 우대합니다.

• 해외 국적자인 경우, 한국어 의사소통이 원활하고 정규직 입사의 체류 자격을 갖추어야 합니다.

• 직방 채용 관련 문의: ******@*******.***