담당업무

- 대용량 Multi-Modal 데이터를 Text로 수집/처리하는 파이프라인을 구성하고 Datasets을 관리합니다.

- 대규모 데이터 추출, 처리,저장 파이프라인의 설계,구축,유지 관리 전반을 담당합니다.

- ETL 작업 수행, 데이터 품질(DQ) 관리를 담당합니다.

- 데이터 실시간 스트리밍 및 배치 처리를 위한 데이터 파이프라인 구축과 최적화를 진행합니다.

자격요건

- 데이터 엔지니어링, 데이터 아키텍처 및 데이터 모델링에 대한 이해와 경험이 있는 분

- 프로그래밍 언어(Python, Java 또는 Scala 중 1개 이상)에 능숙하신 분

- 대규모 데이터를 처리하고 관리해본 경험이 있는 분

- 데이터 분석 및 시각화 도구(Pandas, Tableau, Power BI 등) 사용 경험이 있는 분

우대사항

- 대용량 데이터 ETL 파이프라인 개발 경험이 있는 분

- 데이터 수집/처리 부터 ML 모델 추론까지 End to End 개발이 가능하신 분

- Search 및 ML/DL에 대한 이해가 있는 분

제출 서류

기술 경력 위주의 이력서, 포트폴리오 - pdf 파일