데이터 아키텍트 직무를 선택한 이유는 빅데이터에 대한 관심과 이를 위해 키워온 제 역량을 가장 잘 발휘할 수 있기 때문입니다. 대학 2학년 때 신호와 소음이라는 책을 읽으며 미래를 엿보는 빅데이터 분석에 큰 관심을 가졌습니다. 저는 빅데이터 분석의 핵심 근간은 방대한 데이터의 저장과 처리를 위한 플랫폼 구축이라 생각합니다. 데이터를 수집하고 저장, 처리하는 플랫폼 구축 작업이 선행되지 않으면 데이터의 분석은 불가능하기 때문입니다.
먼저 다양한 개발 언어를 습득했습니다.
6개월간 Java&빅데이터 개발자 양성 과정 교육을 수료하며 Java 및 Jsp, Java script, JQuery 등 웹 개발 언어와 oracle DB, spring framework 개발 능력을 갖추었습니다. 특히 '학생관리 프로그램' Java GUI 프로젝트와 '사회인 야구단을 위한 웹' MVC2 모델 프로젝트를 완성하며 배운 지식을 몸소 체득할 수 있었습니다. 이를 통해 새로운 언어와 툴을 빠르게 습득하고 오픈소스를 활용하는 능력을 길렀습니다.
다음으로 클라우드를 활용한 빅데이터 분산 처리 플랫폼 구축 경험이 있습니다.
Hadoop에 대한 관심으로 MapReduce, Pig, Hive, Hbase 등을 익혔습니다. 특히 MapReduce를 직접 코딩하여 서울시 버스 승하차데이터, 미국 운항데이터 등 방대한 데이터를 분석했습니다. 이러한 경험을 토대로 AWS EC2 기반의 Hadoop 클러스터를 구축하여 '서울시 일일 강수 예측 웹과 앱'을 만들었습니다. 현재 EMR을 사용한 spark MLlib 프로젝트를 진행하고 있습니다.