Data Engineer

Job description preview

From Miridih’s original posting

| 팀 소개 데이터 엔지니어링 팀이 어떤 문제를 풀고 있는지 궁금하다면? -> 데이터 엔지니어링팀 알아보기 Data Engineering 파트는 Kafka/Debezium 기반 CDC 스트리밍 파이프라인과 Airflow·Databricks·DuckDB(Arrow) 기반 배치 파이프라인으로 사내 여러 서비스의 데이터를 수집하고, 256TB 이상 규모의 Databricks Delta Lake 기반 데이터 레이크하우스에 적재·운영합니다. 이를 통해 전사가 신뢰하고 즉시 활용할 수 있는 분석 데이터의 기반을 만들어 가고 있습니다. 현재는 Silver·Gold 레이어의 마트 테이블과 워크플로를 재설계해 마트 데이터의 접근성과 신뢰도를 높이고 있습니다. 마트의 변환·검증·배포 과정을 CI/CD로 표준화해 품질 문제를 배포 전에 선제적으로 걸러내고, 정합성·freshness 지표를 상시 모니터링하는 품질 관리 체계를 갖춰 가고 있습니다. 동시에 Unity Catalog 기반 접근 제어와 개인정보 마스킹, 메타데이터·데이터 리니지 관리를 통해 데이터 거버넌스를 강화하고 있습니다. 이렇게 정비한 마트와 메타데이터는 사람뿐 아니라 Agent도 정확히 이해하고 활용할 수 있는 분석 기반이 됩니다. 이를 바탕으로 미리디 구성원 누구나 Agent를 통해 쉽게 데이터를 분석할 수 있는 환경을 만들고, Agent 기반 마트 생성 자동화와 셀프 서비스 환경도 함께 구성하고 있습니다. 데이터 플랫폼의 활용 범위도 넓혀 가고 있습니다. 미리캔버스에서 매일 2억 건 이상 발생하는 사용자 행동 로그를 수집하기 위해 Server-side GTM 기반 스트리밍 수집 인프라를 구축하고, 실시간으로 수집된 데이터를 분석하는 실시간 분석 시스템을 개발하고 있습니다. 또한 80억 건 이상 적재된 비정형 디자인 에셋 데이터를 AI/ML 모델 학습과 디자인 데이터 분석에 쉽고 빠르게 활용할 수 있도록 비정형 데이터 레이크를 구성하는 것도 중요한 미션입니다. Data Engineering 파트는 수집부터 적재, 모델링, 품질, 거버넌스, 서빙까지 데이터가 흐르는 전 과정을 설계·운영하며, 미리디 구성원 누구나 믿고 쓸 수 있는 데이터 기반을 책임지는 팀입니다. | 입사 후 3개월 성장 목표 [1개월 차] • 데이터 플랫폼, 수집 파이프라인, 거버넌스 운영에 필요한 지식을 익힙니다. 수집 지연·장애 같은 운영 이슈에 직접 1차 대응할 수 있는 수준이 됩니다.…