시니어 데이터 엔지니어

Job description preview

From Kurly’s original posting

조직 소개 시니어 데이터 엔지니어는 BigQuery 기반의 데이터 웨어하우스를 관리하며, AWS DMS/Kafka Connect/Airflow를 활용한 CDC 및 배치 파이프라인을 AWS EKS/NiFi/Flink 환경에서 운영합니다. 또한 단순 운영을 넘어, 전사가 데이터를 효율적으로 사용해 성과를 극대화할 수 있는 기술적 기반을 만듭니다. 수백 테라바이트 규모의 데이터와 수백 개의 데이터 파이프라인을 다루며, 데이터 메시 아키텍처로의 전환이라는 큰 그림을 직접 설계하고 있습니다. 더불어 최신 GenAI 도구를 운영 자동화에 적극 도입해, 반복 업무는 AI에 맡기고 사람은 더 어려운 문제에 집중하고 있습니다. 담당 업무 • 데이터 플랫폼 개발 • 서로 다른 데이터 소스와 관리되지 않은 권한 체계를 묶어 거버넌스를 확립하는 데이터 메시 플랫폼 구축 • Data Observability 및 품질 관리 체계 구축 (파이프라인 사용량/현황 가시화, 누락/중복/지연 감지, 품질 및 성능 이상 징후 탐지) • Data FinOps 도구 개발 (프로젝트 및 도메인별 비용 현황 가시화, 비정상 사용 패턴 인지, 조기 비용 파악을 통한 절감) • 데이터 인프라 운영 • 데이터 파이프라인 운영을 위한 AWS / GCP 클라우드 인프라 운영 및 조정 • 파이프라인 변화에 따른 인프라 운영/조정 • 비용/안정성/확장성의 균형을 고려한 인프라 설계 자격 요건 • 8년 이상 데이터 엔지니어링 관련 경험을 보유하신 분 • 한 가지 이상의 개발 언어를 다루며 운영 도구를 직접 개발할 수 있는 분 • 아래 스택 중 다수를 실무에서 다뤄본 분: BigQuery(또는 대규모 데이터 웨어하우스), Airflow, Kafka / Kafka Connect, Spark / Flink, 컨테이너(Docker / Kubernetes), AWS 또는 GCP • 오픈소스/데이터 엔지니어링 기술을 단순히 도입해본 수준을 넘어, 직접 프로덕션에서 운영하며 장애 대응과 트러블슈팅을 경험해본 분 • 특정 기술을 사용해본 경험에 그치지 않고, 그 기술이 어떤 문제를 풀기 위해 탄생했는지와 어디까지가 한계인지를 이해하며, 도입 시의 비용/복잡성/유지보수 부담까지 함께 고민해본 분 우대 사항 • Claude, Codex 등 최신 GenAI 도구를 개발 워크플로우에 도입해 반복 업무를 자동화하거나 개발 생산성을 높여본 경험이 있는 분 • 데이터 환경의…