데이터엔지니어
1년차의 이직 고민
빅데이터
전 직장 포함해서 총 5년 반의 경력을 가지고 있는 데이터 엔지니어입니다. 전 직장에서 대용량 ETL을 기반으로 해서 각종 DB에서 ETL 작업을 수행하였고 중급 SQL 튜닝 등도 담당했습니다. 빅데이터의 경우 하둡에코시스템에서 hive를 비롯해서 주로 데이터 적재 및 가공, 데이터 분석단에 데이터 제공을 주로 했습니다. 데이터 분석의 경우 파이썬을 베이스로 데이터 분포 등을 파악해서 필요 데이터를 결정하고 이 데이터를 tensorflow를 비롯하여 기존의 회귀 분석 등에 트레이닝 시켜 결과를 도출했습니다. 현 직장에서는 빅데이터 엔지니어로 집중해서 메이저 금융권 IT 빅데이터 플랫폼 운영 관리 업무를 주로 하고 보조적으로 빅데이터 분석 시스템 관리도 겸하고 있습니다. 오라클 dw에서 데이터를 정기적으로 가져오는 소스들을 쉘스크립트로 작성해서 관리히고 다른 원천에서도 sqoop을 통하거나 mft 전송 받은 파일을 hive 테이블에 적재하고 있습니다. 사내 스케쥴링 프로그램을 통해 빅데이터 플랫폼 배치 작업들을 관리하고 에러 발생시 조치까지 담다하고 있습니다. 빅데이터 분석 시스템의 경우 데이터분석가가 작성한 소스를 1차적으로 검수 확인하고, 배치 시스템에 맞게 수정해서 등록 후 배치 관리도 담당하고 있습니다. 이전 회사에서 파이썬을 통해 동적 실행부터 해서 로그 처리 등 작은 프로젝트에서 TA역할을 한 적도 있어서 데이터 분석가가 작성한 소스들을 기술적으로 검수가 가능합니다. 현재 처우 조건이 부족하다고 여겨 동종 업계 및 대기업의 빅데이터 플랫폼 운영관리 업무를 하고 싶은데 어떻게 보시나요? 현재 sqld 자격증은 보유중이고 향후 클라우데라 하둡 자격증 취득 예정입니다. 부족한 부분이 어떤 것인지 알려주시면 감사하겠습니다.