전반적인 데이터 분산 플랫폼 구축 능력을 갖추어 우수한 DW와 데이터마트를 구축하기 위해 New ICT에 지원했습니다. SK C&C는 ‘QUTA’를 제시하며 저비용과 고효율의 새로운 빅데이터 시스템을 구축했습니다. 제가 걸어온 길은 SK C&C가 지향하는 방향에 부합합니다. 제 관심 분야인 빅데이터 분석은, 방대한 데이터의 저장과 처리를 위한 플랫폼 구축이 핵심 근간이라 생각하여 위해 세 가지의 노력을 해왔습니다.
첫째, 다양한 개발 언어의 습득입니다. 개발 능력과 DB 구축 능력을 기르기 위해 Java&빅데이터 개발자 양성 과정을 수료했습니다. 6개월 교육기간 동안 Java 프로젝트와 MVC2 모델 프로젝트를 완성하며 Java 및 여러 웹 개발 언어와 오라클 DB 구축, 스프링 프레임워크 개발 능력을 갖추었습니다. 이를 통해 새로운 언어와 툴을 빠르게 습득하고 오픈소스를 활용하는 능력을 키웠습니다.
둘째, 클라우드를 활용한 빅데이터 분산 처리 플랫폼 구축 경험입니다. 데이터 저장과 처리 역량을 쌓기 위해 하둡의 맵리듀스와 Pig, Hive, Hbase 등을 익혔고 맵리듀스로 방대한 데이터를 분석했습니다. 습득한 지식을 바탕으로 AWS EC2를 사용한 하둡 클러스터를 구축했으며 현재 EMR 기반의 스파크 MLlib 프로젝트를 진행하고 있습니다. 이를 통해 IaaS 클라우드 컴퓨팅 능력과 하둡 Eco 시스템 구축 역량을 키웠습니다. 현재는 전공자들과 정기적으로 학술모임을 가지며 코딩 학습뿐만 AWS를 사용하며 클라우드의 전문성을 갖추기 위해 노력하고 있습니다.
셋째, 수학과 통계지식을 학습했습니다. 데이터 분석 용어와 관련 수식에 대한 이해가 부족하다면 분석가가 원하는 데이터셋을 제공할 수 없습니다. 저는 수학을 전공하여 분석에 사용되는 수식을 쉽게 이해할 수 있습니다. 또한 데이터 분석 준전문가 자격증을 취득하며 분석 모델과 R을 익혔습니다. 이는 분석가와의 협업에 큰 보탬이 되어 업무 효율성을 증진시킬 것입니다.