Machine Learning Engineer (Model Inference & Serving)

Job description preview

From Miridih’s original posting

| 직무 소개 미리캔버스는 "디자인을 더 쉽고, 똑똑하게 완성하는 세상"을 목표로 합니다. AI 팀은 검색 임베딩 모델, 자체 LLM, 외부 LLM 연동을 포함한 다수의 AI 모델을 실제 서비스에서 운영하고 있습니다. 사용자가 검색창에 한 문장을 입력하는 순간, 여러 모델이 GPU 위에서 동시에 추론되고 그 결과가 수십 밀리초 안에 돌아와야 합니다. 이 포지션은 만들어진 모델을 프로덕션에서 가장 빠르게 돌리는 자리입니다. 모델 추론(inference) 성능을 끌어올려 사용자 경험과 비용을 동시에 개선합니다. 현재 미리캔버스의 템플릿·요소 검색, 내용 시각화, 추천 등 사용자가 매일 쓰는 기능 뒤에서 자체 모델이 동작하고 있습니다. 이 모델들이 실제 사용자에게 닿는 마지막 구간 전체를 다루게 됩니다. 미리캔버스의 모델을 수많은 사용자의 경험으로 바꾸는 일에 함께할 동료를 찾습니다. | 기대 모습 [1개월 뒤] • 미리캔버스의 AI 서비스 구조와 현재 추론 아키텍처(TensorRT, vLLM, TensorRT-LLM 기반 서빙 구성)를 파악합니다. • 운영 중인 모델 목록, 각 모델의 트래픽 패턴, latency 요구사항, GPU 할당 현황을 정리합니다. • 온콜 및 장애 대응 프로세스에 참여하며 실제 운영 흐름을 익힙니다. [3개월 뒤] • 주요 모델 중 하나를 선정해 추론 최적화를 처음부터 끝까지 수행하고, latency와 GPU 비용 개선 수치를 확인합니다. • 추론 성능 지표(p99 latency, GPU 활용률, 토큰 처리량)를 상시 관측 가능한 대시보드와 알림으로 만듭니다. • 서빙 요청 접수부터 배포까지의 표준 경로를 정의하고, 반복 작업을 자동화합니다. [그 이후] • 각 서비스 팀이 직접 모델을 배포할 수 있는 서빙 플랫폼을 구축합니다. • 모델 특성에 맞는 GPU를 선정하고 배치해 전체 추론 비용을 지속적으로 낮춥니다. • 신규 추론 최적화 기술(양자화, 스펙큘레이티브 디코딩, 디스틸레이션 등)을 검증하고 서비스에 도입합니다. • 팀 내 기술 전파, 문서화, 온콜 체계 정착을 통해 서빙 역량을 조직 자산으로 만듭니다. | 주요 업무 "미리디에서 이런 일들을 함께 하고 싶어요" ✅LLM 서빙 운영 및 고도화 • vLLM 기반 배치 추론 및 OpenAI 호환 API 서빙을 운영합니다. • TensorRT-LLM 기반으로 latency에 민감한 내부 서비스용 LLM 서빙을 구성하고 튜닝합니다. • 모델…