191019_데이터 엔지니어로서의 필수 역량.md

• About Content

  • Field: Data Engineer
  • Level of Topic: Beginner
  • Question Source: Itdaa

• About Mentee

  • Initial: H
  • Background: 방통대 4학년 재학, DW / BI / ETL 3년의 실무경력
  • Triggered By: 이직 희망

• Q & A

  1.  안녕하세요.
      저는 dw/bi/ETL 분야에서 3년정도의 실무경력을 지니고 있는데, 데이터 엔지니어 쪽으로 이직을 희망을 하고 있습니다.
      현재 방통대 4학년 이수 중이라 최저학력 미달로 인해 지원할 수 있는 기업의 수가 상당히 한정적인데, 그렇다고 경력직으로 들어가기에는 하둡이나 스파크 같은 기술들을 실제로 다뤄본 경험이 없어 좀 걱정이 됩니다.
      rdbms 쪽으로만 경력이 있는데, 이직시 어떠한 부분을 어필해야 성공할 수 있는 가능성이 높은 지 여쭈어보아도 될까요!?^^
     

     제가 이해한 질문자 분의 경력은 엔지니어링 측면이 아니라 데이터를 SQL로 가공하고 추출하고, 어느 정도 분석하는 업무에 중점적으로 3년동안 진행하신 것으로 보입니다. 그렇기에 경험이 있으신 스킬로는 SQL, Tableau 또는 Google Analytics와 같은 시각화 또는 분석 툴로 예상됩니다. 직무를 말씀해주시지 않아 어려우나, 분석가로 일하셨다면 통계나 숫자, 분석에 대한 스킬셋을 가지실 것이라고 가정하겠습니다.

     먼저, 외국의 사례를 볼 때, 분석가에서 데이터 엔지니어로의 전향이 전체 직무 전환자 중 7% 정도인 것으로 보입니다(소프트웨어 엔지니어 40%에 이어).

     

     데이터 엔지니어의 직무에 요구되는 스킬은 기업의 도메인, 규모, 기술스택 등 다양한 요인에 따라 매우 다른 것 같습니다.

     현재 지니신 스킬과 최소한의 input으로 전환을 원하신다면, 아래의 기술들 중에서 언어 1개, 리눅스, 분산시스템에 대한 이해를 준비하시면 좋으실 듯 합니다.

     

     순위대로 보시면, 현재 SQL은 익숙하실 것 같고, 자바 또는 파이썬 중 하나를 집중하시면 좋으실 듯 합니다. 러닝커브를 고려할 때, 파이썬으로 접근하시길 추천드리나 조금 더 깊이 있는 엔지니어링에 관심이 있으시고 여력이 있으시면 자바도 좋은 선택인 것 같습니다.

     리눅스와 관련해서는 온라인 강의 같은 것을 통해, 지원 전에 익숙해질 필요가 있다고 생각됩니다.

     분산시스템에 대한 이해는 하둡 에코시스템, 그에 기반한 스파크 등과 같은 기술에 대한 이해와 사용능력을 말씀드릴 수 있을 것 같습니다.

     3가지 이외의 사항들

     위에서 언급드린 3가지 외에 권장드리는 부분으로는 데이터와 관련한 개념들 또는 용어들에 대한 이해, 클라우드(Amazon, Azure 또는 GCP) 그리고 개발 전반에 대한 이해입니다.

     위의 리스트에서 보시는 퍼센티지만큼 그 부분들에 대해 집중적으로 투자하셔서, 일단 데이터 엔지니어로 진입하시길 추천드립니다. 학위가 없으신 부분이 우려되신다면, 어떠한 증명을 줄 수 있는 다양한 (단기) 교육과정(Coursera Certificate, Fast Campus 등)이나 자격 또는 증명(Amazon Cloud Certificate, Kaggle Score)을 준비하시면서 스킬을 쌓으셔도 좋겠습니다.