데이터 엔지니어 직무의 전문성을 갖추기 위해 ‘Hadoop Eco System’ 기술과 ‘끊임없는 소통’ 역량을 키워왔습니다.
Java&빅데이터 개발자 양성 과정을 수료한 후, Hadoop에 대한 관심으로 하둡 완벽 가이드 전문 서적을 탐독하며 HDFS를 활용한 MapReduce, Pig, Hive, Hbase 등을 익혔습니다. 특히 배운 지식을 구체화하기 위해 MapReduce를 직접 코딩하여 서울시 버스 승하차데이터, 미국 운항데이터 등 방대한 데이터를 분석했습니다. 아쉬운점 1더불어 저는 데이터 엔지니어 직무에서 가장 필요한 역량은 ‘끊임없는 소통’이라 생각합니다. 직면한 문제를 해결하기 위해 더 나은 방안을 모색하고, 그 과정에서 서로의 부족함을 보완하여 발전하는데 ‘동료와 끊임없는 소통’은 필수적입니다.
팀원과의 활발한 소통을 통해 AWS 클라우드를 도입하여 ‘서울시 일일 강수 예측 웹과 앱’ Hadoop 프로젝트를 성공적으로 마친 경험이 있습니다. Hadoop 클러스터 구축에 필요한 용량을 확보하기 위해 팀원과 시행착오마다 문제와 한계를 논의했습니다. VMware를 사용하는 기존의 방식의 한계를 팀원과 활발히 논의한 끝에, 가상으로 용량을 대여하는 AWS를 떠올릴 수 있었습니다. 학술 자료를 모아 정리하고 함께 매뉴얼로 만들어 EC2를 익혔습니다. private IP 설정, putty 접속에서 에러가 발생할 때마다 ‘왜’를 항상 찾았고 해결방안을 모색한 끝에, AWS는 보안그룹의 설정이 가장 중요한 고려 사항임을 알게 되었습니다. 마침내 충분한 용량을 할당하여 NameNode와 Secondary NameNode 그리고 3대의 DataNode로 구성된 Hadoop 클러스터를 구축할 수 있었습니다. 이후 Zookeeper를 사용하여 NameNode의 이중화를 통한 고가용성을 확보했습니다. 1908 ~ 2018 서울시 강수량 데이터를 MapReduce로 분석했고 그 결과를 MySQL DB에 저장해 웹과 앱으로 시각화하며 프로젝트를 성공적으로 마쳤습니다.아쉬운점 2
작은 규모의 프로젝트였지만 두 가지 결실을 거둘 수 있었습니다. 먼저 기존과 다른 방식으로 문제에 접근하여 문제를 해결했을 뿐만 아니라 IaaS 클라우드까지 익힐 수 있었습니다. 혼자가 아닌 다수의 생각이 모일 때 새로운 인사이트를 창출할 수 있다는 것을 배웠습니다. 또한 EC2라는 새로운 환경을 도입하며 문제해결을 위한 소통의 중요성을 체감했습니다. 서로 잘 알고 있는 부분에 대해서 활발히 물어보고 조언을 주고받으며 발생한 에러들을 빠르게 찾아 고칠 수 있었습니다. 이러한 경험처럼 동료와 부서 간의 활발한 소통을 통해 기존작업 프로세스에 대한 지속적인 개선을 모색하겠습니다. 또한 고객의 요구사항을 정확히 반영할 수 있도록 필요한 신기술 습득에 주저하지 않겠습니다.아쉬운점 3
아쉬운점 1 질문을 보면 노력한 경험과 그 결과에 대해 구체적으로 제시하라고 하고 있습니다. 이 경험을 통해 지원자가 어떤 지식과 실력을 가지고 있는지를 제시해야 한다는 것입니다. “무엇을 익혔다”, “데이터를 분석했다”와 같은 애매한 표현이 아니라 보유기술이나 능력을 구체적으로 제시해야 한다는 것입니다.
아쉬운점 2 직무와 연관된 경험을 제시한 점은 분명 장점입니다. 하지만 이 사례의 의미를 기술적 역량 향상이 아니라 ‘끊임없는 소통’에 초점을 맞춘 점이 아쉽습니다. 그리고 내용상으로 각각의 기능이나 기술에 대해 지원자가 어떤 수준의 기술, 지식, 능력을 가지고 있는지 명확하게 확인할 수 없다는 점도 아쉽습니다. 막연히 ~~익혔다, ~~분석했다 라는 식의 표현보다는 ~~를 익혀 ~~~ 수준의 기술력을 가지고 있으며 현재 ~~~이 가능하다 와 같은 식으로 구체적인 역량을 제시하면 더 좋겠습니다.
아쉬운점 3 물론 이 프로젝트를 통해 다양한 배움이 있었을 수도 있습니다. 하지만 그보다는 전반적으로 지원자가 어떤 노력과 경험을 했는지를 설명하는 것이 더 효과적인 내용이 될 수 있습니다. 즉, 두 가지 프로젝트를 구구절절 설명하는 것 보다는 해당 직무의 필요 지식 및 스킬인
<br/>- Business Intelligence의 기본 이해와 관련 SW 활용 능력
<br/>- 데이터의 이해와 요구사항 분석/설계 능력
<br/>- Open source의 이해와 활용 능력
<br/>- OS/네트워크/DB 시스템 기본 지식
<br/>- JAVA/Python/Script/Hadoop/Hive 등의 프로그램 개발 스킬 및 경험
<br/>- 데이터 통계에 대한 이해와 기본 지식
<br/>와 관련하여 대학시절에 어떤 학습, 프로젝트 경험, 실무 경험이 있는지를 전반적으로 설명하고 각각의 역량과 관련하여 실제적으로 어떤 능력이 있는지를 명확하게 제시하는 것이 더 호감을 준다는 것입니다.
<br/>