우리는 정보의 홍수 속에 살고 있다. 시시각각 새로 창조되고 이내 사라지는 정보의 범람 속에서 우리에게 필요한 정보만을 효율적으로 간추려서 파악하는 것은 매우 가치 있는 일일 것이다. 유펜솔루션은 간편한 조작만으로 양질의 데이터 수집이 가능한 SaaS 기반 솔루션을 제공하는 기업으로 사용자는 이를 이용해 많은 양의 웹 데이터 속에서 필요한 데이터를 정확하고 신속하게 수집할 수 있다. 개발팀 소속 이보석 연구원에게 크롤링 엔진 개발 직무에 대한 자세한 이야기를 들어보자.
UPENNSOLUTION
개발팀
이보석 연구원
안녕하세요. 간단한 본인 소개 부탁드립니다.
안녕하세요. 유펜솔루션 개발팀에서 크롤링 엔진을 개발하고 있는 이보석 연구원입니다. 올해로 입사 2년 차입니다.
유펜솔루션은 어떤 기업인가요?
유펜솔루션은 웹에 존재하는 빅데이터에 누구나 쉽게 접근할 수 있도록 SaaS기반 웹 데이터를 수집하는 서비스를 개발, 운영하는 기업입니다. 유펜솔루션의 서비스는 다양한 사이트에서 작동할 수 있는 범용성, 그리고 고객 중심의 편의성, 데이터 수집의 안정성, 수집 대상 사이트와의 공존성을 두루 갖추었다는 점에서 다른 업체의 서비스와 대비해 강점을 가지고 있습니다.
Interview 01
누구나 쉽게 접근 가능한
웹데이터 수집 서비스를 개발
개발팀 소개와 담당 업무 소개 부탁드립니다.
유펜솔루션의 개발팀은 백엔드, 프론트엔드, 크롤러의 세 파트로 나누어져 있으며, 저는 이 가운데 크롤링 엔진 개발을 담당하고 있습니다. 크롤링(스크래핑)이란 거미줄처럼 퍼져있는 웹에 존재하는 데이터를 수집하는 것을 의미합니다. 여기에서 착안해 서비스 이름을 ‘스파이더킴`이라고 명명했습니다. 전 세계의 모든 사이트에서 작동할 수 있는 크롤링 엔진을 개발하는 것을 목표로 하고 있으며, 현재는 국내외 메이저 사이트들을 우선으로 개발을 진행하고 있습니다. 프로그래밍 언어로는 파이썬을 사용하고 있습니다.
유펜솔루션에 근무하면서 업무 역량 성장을 위해 신경 쓰는 부분이 있다면 말씀해 주세요.
개발과 관련된 공부는 직업의 특성상 꾸준히 하고 있습니다. 이에 더하여 개발 또는 서비스와 관련된 회사 전반에 걸친 크고 작은 이슈들을 파악하고자 합니다. 업무 시간이 아니더라도 이런 이슈들에 항상 관심을 기울이고 관련 내용을 수집하도록 노력하고 있습니다. 이러한 자료들이 가끔 우연한 곳에서 혹은 예기치 않은 상황에서 좋은 아이디어를 떠올리게 해주는 것 같습니다.
업무를 하면서 겪는 어려움과 보람을 느끼는 순간이 궁금해요.
현재 전 세계의 웹사이트 수는 약 12억 4천만 개, 국내만 해도 4백만 개 정도라고 합니다. 사이트의 개수만큼 사이트의 웹 구조도 다양하고, 고객이 유펜솔루션에 요구하는 사항도 각기 다르므로 정확도, 속도, 범용성이라는 세 가지의 요소를 모두 고려하여 개선해야 한다는 점이 가장 어려운 부분이라고 할 수 있습니다. 동시에 이러한 어려움 속에서 고객이 원하는 데이터를 원하는 형식과 시간에 맞춰 제공하여 고객이 결과물에 만족하는 모습을 볼 때 큰 보람을 느낍니다.
개발 직무에서는 업무 성과를 어떻게 확인하며, 성과 달성을 위해서는 어떤 노력이 필요한가요?
프로젝트마다 주어진 개발 기간이 존재하므로 이 기간 안에 프로젝트를 완료하는 것이 중요합니다. 업무를 하다 보면 어떤 업무에 어느 정도의 시간이 필요한지 가늠할 수 있습니다. 주어진 기간이 보통 짧은 편이라 모든 사이트에 대한 정확도, 속도, 범용성의 세 가지 요소를 100% 충족시키는 것은 어렵습니다. 따라서 소요 시간을 정확히 계산해 그 시간 안에 해당 업무를 해낼 수 있느냐 여부가 개인의 성과를 판가름하는 가장 일반적인 방법이라고 할 수 있습니다. 이를 달성하기 위해 스케줄 관리와 체크리스트, ToDo리스트를 작성해 시간을 관리하고 관련 서적이나 온라인 강의를 통해 개인의 개발 역량을 향상하고자 노력하고 있습니다.
Interview 02
수평적이고 자유로운 근무 분위기
개발자로 진로를 결정하신 과정이 궁금합니다.
대학에서는 호텔경영과 경영을 복수전공하고 부전공으로 연극학을 공부했습니다. 다소 특이한 이력인데요. 졸업 후에는 전공과는 관련 없는 개발자의 길을 걷게 되었습니다. 처음부터 개발자로 진로를 결정한 것은 아니었으나 창업을 목표로 데이터 분석 쪽에 흥미를 느끼고 공부를 시작한 것이 계기가 되었습니다. 배울수록 흥미가 생기고 적성에도 잘 맞는 분야라고 느껴 개발자로 진로를 정했고 유펜솔루션에서 근무하고 있습니다.
근무 분위기는 어떤가요?
수평적인 분위기 속에서 서로 소통하는 분위기입니다. 모르는 것이 있으면 대화를 통해 해결책을 찾을 수 있도록 노력합니다. 또한, 무척 자유로운 분위기 속에서 각자가 원하는 스타일대로 업무를 진행하는 편입니다. 단, 본인이 맡은 업무를 빠짐없이 수행하고 그 결과물도 목적한 바에 도달해야 합니다. 모든 직원이 책임감을 느끼고 자유롭게 일하고 있습니다.
가장 마음에 드는 복리후생은 어떤 것이 있나요?
제가 직접 받는 혜택을 소개하고 싶네요. 청년내일채움공제와 중소기업취업청년 전세보증금 대출 혜택을 받고 있는데 정부가 함께 지원하기 때문에 중소기업이라면 누구나 받을 수 있는 혜택이지만 유펜솔루션처럼 기업에서 적극적으로 알아보고 챙겨주는 경우는 잘 없을 것 같습니다. 또한 9시- 6시, 10시-7시, 11시-8시 근무 중에 하나를 선택하여 근무할 수 있습니다. 출근할 때 제일 신경 쓰이는 것이 5분, 10분 지각하는 것인데요. 유펜솔루션에서는 하루 8시간만 채우면 되기 때문에 출근 스트레스가 적습니다. 물론, 잦은 지각은 곤란하겠죠?
함께하고 싶은 후배에 대해 말씀해 주세요.
무엇보다 어떤 사람인지 쉽게 느낄 수 있는 솔직하고 투명한 사람이 좋습니다. 또한 목표가 명확하지 않더라도 목표 지향적인 사람이 좋습니다. 입사 초기에는 누구나 열정적이지만, 그 열정이 얼마만큼 오래가는지는 자신이 목표를 가졌는지 없는지에 따라 다른 것 같습니다. 마지막으로 적극적인 사람과 함께 일하고 싶습니다. 모르면 찾아보고, 궁금하면 물어보고, 무슨 일을 어떻게 해야 할지 찾고 고민하는 사람이 좋습니다.
Interview 03
실력보다 열정적인 태도가 중요
개발팀에서 근무하기 위해 다룰 줄 알아야 하는 프로그램이 있나요?
개발팀 공통으로는 클라우드컴퓨팅, 리눅스, git 정도가 되겠고요. 백엔드 파트는 자바, DBMS, SQL, 프론트엔드 파트는 JavaScript, Angular, jQuery, CSS3, 크롤링 엔진 파트는 Python, DBMS, SQL 정도가 될 것 같습니다.
개발 직무에 도움이 될 만한 경험에는 어떤 것들이 있을까요?
프로그래밍을 현업에서 3년 이상의 경력을 가진 분들 만큼 잘하는 것이 아니라면 다양한 프로젝트를 경험해보는 편이 낫다고 생각합니다. 주로 사용하는 프로그램 언어가 무엇이든 다양한 라이브러리를 써본 경험이 도움이 되는 것 같습니다. git, LINUX, 클라우드 컴퓨터(aws, nhn-toast, gabia, google-cloud 중 최소 1개 이상), DB, SQL 등을 함께 활용해야 하는 프로젝트를 실습해 보는 것이 좋겠습니다.
같은 분야에 취업을 희망하는 취업준비생들에게 조언 한마디 부탁드립니다.
프로그래밍 실력이 어느 정도만 받쳐준다면 그 이상의 스펙은 그렇게 중요하지 않습니다. 모르는 부분은 학습을 통해 배워나가면 되기 때문입니다. 다른 지원자들에 비해 실력이 부족하더라도 배우려는 자세와 열정적인 태도를 갖춘 지원자가 더욱더 좋은 결과를 얻는 경우를 자주 목격하곤 합니다. 실제로 이력이 매우 화려한 분들 가운데는 “굳이 여기 아니어도 상관없어요. 면접 보러 오라는 데 많아요.”라는 자세와 태도로 면접에 참여하는 경우가 있습니다. 당연히 결과가 좋지 않겠죠. 본인의 이력이 조금 부족하더라도 열의를 가지고 ‘이 회사 아니면 안 된다’는 태도로 임한다면 좋은 결과가 있을 것입니다. 힘내세요!
저작권은 잡코리아(유)에 있으며, 무단전재 및 재배포를 금지 합니다.
