수습기간 종료와 자격증 취득 목표에 대해

안녕하세요. 오늘은 회고록을 작성 해보겠습니다.

특별히 작성하는 이유는 제목에서와 같이 새로 옮긴 곳에서의 수습기간이 종료 되었고,
새로운 목표가 생겨서 이를 기록 하고자 함에 있습니다.

1. 수습기간의 과정

보통 경력직은 수습기간이 있지만,  신입 직원 처럼 수습기간에 큰 의의를 두지는 않는게 일반적인 것 같습니다.

그렇지만, 실제로 있는 기간이고 보통 이 기간 동안을 적응 기간이라고 하기 때문에 그 과정을 둘러 보겠습니다.

지금까지 한 일

저는 '데이터 엔지니어'의 직무로 입사를 했습니다.

제가 속한 조직은 Data Analytics 조직으로 이름은 조금씩 바뀌긴 하지만 주로 사내에서의 데이터 분석 및 외부기관과 협력하여 데이터 분석 과제 및 솔루션을 개발하고 있습니다.

아무래도 IT 회사는 아니기 때문에 IT로 분류되는 데이터 분석 조직이 아주 크지는 않고, 그 중에서도 기술 조직은 비대해지기 쉽지는  않은데요. 그렇지만 이 도메인에서 그리고 크게 보면 금융이라는 틀 안에서 이 정도의 빅데이터 시스템을 만드는 것은 분명 의미 있는 일 입니다.

특히 올해 하반기부터 빅데이터 분석 플랫폼의 고도화 프로젝트를 추진중에 있어서 이를 준비하는데 있어 분주한 상황입니다. 주로 빅데이터 플랫폼 솔루션 업체와 미팅을 했습니다.(들으면 바로 아실 수 있는 !)

따라서 관련 자료를 수집하고 현재의 데이터 사이즈, WorkFlow의 현황, 연동되는 데이터의 종류와 Source 등등 제가 직접하지 않는 부분도 있지만 3개월 동안 파악하고 경험을 했습니다.

그리고 가장 주요하게 한 것은 이 플랫폼의 운영이었습니다. 기존에 운영되는 플랫폼이기 때문에 중간에 들어온 저는 기존의 히스토리와 위에서 언급한 것 처럼 WorkFlow 현황, 연동되는 데이터 종류 등을 파악하고 개선하기 위한 작업들을 진행 했습니다.

성과로는 기존 스케쥴 및 WorkFlow의 정리, HDFS Block 효율화, WorkFlow 수정, Sqoop 최적화 등이 있네요.

또한, 빅데이터 분석의 워크벤치를 신규로 구축하는 프로젝트의 말미에 들어가 관련하여 운영, 작동과정 등을 파악 했습니다. 저희가 도입한 플랫폼은 CDSW(Cloudera Data Science Workbench)라는 플랫폼으로 Cloude 사에서 개발한 플랫폼으로 RStudio와 Jupyter를 별도의 클라우드 시스템을 활용하여 분석할 수 있는 환경입니다. 저 개인적으로도 이 전에 운영할 때, 자원 효율화 때문에 굉장히 난감한 상황이 있었는데 이를 어느정도 개선할 수 있는 플랫폼이라 새로웠습니다.

프로젝트의 진행과정을 보았을 때, 지금의 3개월 보다는 앞으로의 3개월이 훨씬 다양하고 많은 것을 준비해야 할 것 같습니다.

회사적응

사실 가장 중요한 부분이기도 한데요. 결국 일은 혼자만 하는 것이 아닌 다른 직원과 함께 만들어가는 것이기 때문입니다. 저의 경우 거의 대부분을 출근 했었습니다. 이 말은 저희 회사가 코로나 바이러스로 재택근무를 시행중이라는 것인데요.

아무래도 팀의 전 직원이 다 출근 하는 것이 아니기 때문에 전 직원이 같이 있는 경우는 극히 드물었습니다. 그렇지만 대부분 한 번쯤은 인사도 하고 교류를 해보았네요.

저도 4월 말 부터는 격주로 재택근무를 하면서 시간을 조금 유연하게 보낼 수 있게 되었습니다. 출근 시간이 30분 정도 밖에 안 걸리는데도 재택근무는 새로운 세계였습니다.(ㅋㅋㅋ)

2. R 교육 그리고 ADsP 자격 시험 준비

조금 특이한 것이 있다면, R 교육을 받고 있다는 것 입니다.

데이터 엔지니어로 R 교육을 받는다는 것이 조금은 특이할 수도 있다고 생각할 수도 있는데요. 보통은 분석가나 데이터 사이언티스트 분들이 많이 다루시기 때문입니다.

그렇지만, R을 어느정도 컨트롤 할 수 있다는게 추후에 확장성에 있어서도 좋을 수 있다는 판단이 들었습니다. 그리고 데이터 사이언티스트에 대한 생각도 조금은 있기 때문에 (물론 최근에는 ML등의 영향으로 R 보다 Python을 많이 사용하시지만) 즐겁게 배우고 있습니다.(데이터 사이언티스트에 대한 생각과 계획은 추후에 더 자세히 적어보도록 하겠습니다.)

그래서 기왕 배우는김에 ADsP(Advanced Data Analytics Semi-Professional, 데이터 분석 준전문가) 자격증도 준비하게 됐습니다. 시험까지 남은 기간이 3주가 안 되는데요. 사실 발등에 불 떨어진 상황이라 많이 매진해야 할 것 같습니다.

후기와 함께 포스트 해보겠습니다.