AI 리워드 광고 플랫폼 기업 버즈빌은 국내 이동통신 3사, SK, CJ, 롯데, 라인 등 전 세계 150개 이상의 퍼블리셔를 보유한 세계 최대의 리워드 광고 네트워크를 구축, 3,900만 명의 유저를 확보 중입니다. 최근 5년간 연평균 33%의 높은 성장(CAGR 2016-2021)을 달성하고 있는 국내 최고의 애드테크 스타트업입니다.
글로벌 애드 테크(Ad-tech) 기업으로서 글로벌 광고 생태계에서 다양한 리워드 광고와 광고 인벤토리를 개발하고 있습니다. 광고 업계 특성상 시스템 복잡도가 높고 다양한 트랜드가 있어 기술적이 혁신이 요구되며 영향력 있는 과제를 수행할 수 있습니다. 버즈빌은 디지털 광고 생태계의 다양한 니즈를 최적화할 수 있는 시스템을 구축 운영하기 위해 노력하고있습니다. 이를 위해 개발자는 비즈니스, 클라이언트 등 여러 직군과 유기적인 커뮤니케이션을 이끌 수 있는 스킬이 필요합니다.
Buzzvil의 Data Engineering팀은 데이터가 생산되는 레이어부터 데이터가 소비되는 레이어까지를 아우르는 데이터 플랫폼과 워크플로우의 설계 및 운영을 담당하는 조직입니다. 현재 파트리드를 포함한 3명의 데이터 엔지니어가 5M WAU, 50여개의 Microservice로부터 흘러들어오는 TBs/day 볼륨의 데이터가 scalable하게 적재적소에 활용 될 수 있는 데이터 플랫폼을 만들어가고 있습니다.
데이터의 원천으로부터 Data Lake(S3, Athena), Data Warehouse(Redshift)까지 흘려보내는 ELT workflow들은Airflow를 통해 관리하고 있으며, AWS EKS cluster 위에서 약 500개의 DAG를 운영하고 있습니다. Airflow를 처음 도입한 2018년부터, YAML 명세 기반 workflow 관리를 포함한 다양한 시도를 통해 분석가나 서버/ML 개발자가 직접 workflow를 등록하는 self-serving 플랫폼을 지향하고 있습니다.
S3, Athena, Firehose, Redshift등을 포함한 전반적인 데이터 인프라는 AWS와 K8s 상에서 Terraform과 Helm을 통해 관리하고 있으며, Airflow는 Spinnaker를 통해 Docker 기반으로 배포를 하고 있습니다.
플랫폼을 사용하는 Athena와 Redshift의 데이터 에셋들에 대한 메타데이터는 Lyft에서 오픈소스화 한 Amundsen을 활용하여 카탈로깅을 하고 있습니다. 또한 각 테이블에서 쿼리할때 중요한 정보(Index, Partition Key 등)를 태깅하고, Airflow와 연동하여 데이터 에셋간의 lineage를 보여주고 있습니다.
팀에 조인하셔서, 아래의 과업들을 같이 풀어나가면 좋겠습니다.
#SSOT
거의 모든 data pipeline이 batch workflow으로 운영되고 있어, 실시간으로 데이터를 보고싶은 니즈를 충족시켜주지 못하는 상황이고, unified logging system이 없어 유지보수하는데 많은 시간을 쏟고 있습니다. 현재 Confluent Kafka로 기존의 data streaming 인프라를 이전하고 있으며, 함께 unified logging system을 만들어 가고자 합니다.
#DataDiscovery
2021년 2분기에 도입한 Amundsen이라는 data catalog 툴을 활성화 시키는 단계에 있습니다. 여러 테이블의 카탈로그 뿐만 아니라, 각 컬럼이 가지는 특징이나 통계, data quality status 등의 여러 테이블에 대한 metadata를 붙이려 합니다.
#DataQuality
2021년 2분기부터 데이터 quality의 체계적인 관리 및 보장을 위해 여러 initiative를 시도하고 있습니다. 데이터 생산자와 소비자가 SLO와 expectation을 맞춰 볼 수 있는 교각을 만드는 일을 함께 해주셨으면 좋겠습니다.
#DataLake
Data lake상에서 data backfill이나 schema migration등의 operation이 data availability에 영향을 주지 않게끔 data versioning & release process를 만들어가고 있습니다. 이와 같이 data platform 상에서의 비효율을 포착하고 최적화와 자동화를 진행하는 일을 같이 진행해보고 싶습니다.
🍭 기본적인 버즈빌리언의 생활을 위하여,
🗽 자율적이며, 생산적으로 일하는 버즈빌리언을 위하여,
👑 수평적이고, 팀워크를 중시하는 버즈빌리언을 위하여,
🌟 버즈빌리언 개개인의 성장과 발전을 지원하기 위하여,
1. 좋은 개발 문화와 환경: 버즈빌은 회사와 팀, 개인 모두의 성장을 적극적으로 지원합니다. 좋은 문화와 훌륭한 동료 덕분에 빠른 성장을 경험할 수 있습니다.
2. 광고 도메인 학습: 오래된 광고 업계의 역사에도 불구하고 광고업의 성장은 여전히 빠르게 진행되고 있습니다. 디지털 광고, 특히 모바일 광고 시장의 성장세는 이미 존재하던 기존 광고 시장의 크기를 넘어섰고, 더 빠르게 올라가고 있습니다. 광고 분야의 도메인 지식은 매우 깊고 넓으면서도 활용도가 높습니다. 버즈빌에서 광고 업계 전반의 지식을 습득할 수 있고, 이를 바탕으로 다양한 분야에서 수익화가 수반된 혁신을 만들 수 있습니다.
🎤 참고사항